定量計(jì)算過(guò)擬合概率
發(fā)布時(shí)間：2018-10-23 | 來(lái)源: 川總寫量化
作者：石川
摘要：金融數(shù)據(jù)的信噪比極低，使得過(guò)擬合成為回測(cè)中的必然。本文介紹一個(gè)量化分析框架，它可以計(jì)算回測(cè)中過(guò)擬合的概率，有助于評(píng)價(jià)量化策略的有效性。
1 引言
眾所周知，金融數(shù)據(jù)中的信噪比極低。當(dāng)我們?cè)诨販y(cè)中嘗試了大量的參數(shù)時(shí)、或是在選股時(shí)測(cè)試了大量的因子后，找出來(lái)效果最好的一組參數(shù)或者一個(gè)因子總能獲得非常不錯(cuò)的效果。但這大概率是因?yàn)樗鼈儍H僅是對(duì)回測(cè)期內(nèi)的噪音精準(zhǔn)建模了。
If the researcher tries a large enough number of strategy configurations, a backtest can always be fit to any desired performance for a fixed sample length.
來(lái)看一個(gè)例子。以中證 500 的成分股為選股池、2010 年 1 月到 2018 年 10 月為回測(cè)期，評(píng)價(jià)不同的選股因子 —— 以該因子選出的前 50 支股票構(gòu)建純多頭的投資組合的最終凈值評(píng)價(jià)因子的效果。當(dāng)測(cè)試了 20 個(gè)不同的因子后，最優(yōu)秀的因子的凈值為 2.29（同期中證 500 指數(shù)凈值僅為 1.06）。這 20 個(gè)因子的凈值如下圖所示（紫色加粗的是最好的那個(gè)）。
如果把測(cè)試因子的個(gè)數(shù)從 20 個(gè)上升至 50 個(gè)，選股效果進(jìn)一步提升，最好因子的凈值從 2.29 上升至 2.40。下圖是 50 個(gè)因子（包括最開(kāi)始的 20 個(gè)）的選股效果，紫色加粗曲線依然為前 20 個(gè)因子中最好的、紅色加粗曲線為這 50 個(gè)因子中最好的。
最后，我們把測(cè)試的個(gè)數(shù)上升至 100（這是一個(gè)任何量化選股報(bào)告中都會(huì)輕易突破的因子個(gè)數(shù)）。這 100 個(gè)因子中（包括之前 50 個(gè)），最好的因子的凈值為 2.43，在前 50 個(gè)因子的基礎(chǔ)上進(jìn)一步提高了。下圖中黑色加粗曲線代表了全部 100 個(gè)因子中最好的那個(gè)的選股凈值。
考慮到這些因子之間不是完全相關(guān)，如果我們把這三個(gè)因子結(jié)合起來(lái)再配合更復(fù)雜的交易算法，一定能在回測(cè)期內(nèi)獲得更好的選股效果。但是，如果僅僅因?yàn)樽罱K的策略中只用了三個(gè)因子就認(rèn)為沒(méi)有過(guò)擬合，那就大錯(cuò)特錯(cuò)了，因?yàn)樵诎l(fā)現(xiàn)這三個(gè)因子的背后是 97 次失敗的嘗試。
當(dāng)進(jìn)行 multiple hypotheses testing 時(shí)（同時(shí)檢驗(yàn)很多不同的假設(shè)），效果最好的那個(gè)即便在統(tǒng)計(jì)上非常顯著（比如有很低的 p-value 或者很高的 t-statistic），它是 false discovery 的概率仍然很高（見(jiàn)《出色不如走運(yùn) (II)》）。不幸的是，這是金融圈學(xué)術(shù)界普遍存在的問(wèn)題。學(xué)者們?cè)陧斂习l(fā)表一個(gè)有效策略或者因子的時(shí)候，并不告訴讀者這個(gè)發(fā)現(xiàn)的背后經(jīng)歷了多少失敗的嘗試。失敗的嘗試越多，這個(gè)發(fā)現(xiàn)其實(shí)是虛假的概率就越高。當(dāng)我們樂(lè)此不疲的測(cè)試不同的參數(shù)組合或者嘗試不同的因子時(shí)，其實(shí)只是在做一件事 —— 過(guò)擬合。最終被挑出來(lái)的往往是過(guò)擬合帶來(lái)的 false discovery?；販y(cè)中過(guò)擬合的直接結(jié)果就是無(wú)法準(zhǔn)確評(píng)價(jià)策略在樣本外的效果。如果過(guò)擬合非常嚴(yán)重，即策略本身就是針對(duì)噪音構(gòu)建的，那么它可能在實(shí)盤中是完全失效的、等待它的只有虧損。
鑒于過(guò)擬合的普遍存在以及過(guò)擬合的嚴(yán)重后果，如何量化回測(cè)中過(guò)擬合的概率（Probability of Backtest Overfitting，簡(jiǎn)稱 PBO）就顯得至關(guān)重要。本文就來(lái)介紹一種定量計(jì)算回測(cè)中過(guò)擬合概率的方法。讓我們從夏普率（Sharpe Ratio，簡(jiǎn)稱 SR）說(shuō)起。
2 圍繞夏普率的討論
為計(jì)算回測(cè)的過(guò)擬合概率，需要比較不同參數(shù)下策略的效果；而為了比較不同策略的效果，就必須選定一個(gè)適當(dāng)?shù)闹笜?biāo)。在眾多評(píng)價(jià)投資策略的指標(biāo)中，夏普率無(wú)疑是最重要的，它是下文介紹的這個(gè)計(jì)算 PBO 框架中使用的策略評(píng)價(jià)指標(biāo)。值得一提的是，這個(gè)框架本身不依賴于選擇的指標(biāo)，因此使用者也可以嘗試其他評(píng)價(jià)策略的指標(biāo)。關(guān)于回測(cè)的過(guò)擬合如何夸大夏普率（inflated Sharpe Ratio），學(xué)術(shù)界和業(yè)界有一些有意思的討論。這里不妨做個(gè)簡(jiǎn)單梳理
一般的經(jīng)驗(yàn)認(rèn)為策略在實(shí)盤中的夏普率是其在回測(cè)期內(nèi)夏普率的 50%。Harvey and Liu (2015) 定量計(jì)算了不同大小的夏普率在樣本外的“打折程度”（他們稱為 haircut），發(fā)現(xiàn)了 haircut 和 Sharpe Ratio 之間的非線性關(guān)系。打折程度 Haircut 的取值在 0 到 1 之間，等于 1 意味著 100% 折扣，即樣本外的夏普率為零。下圖來(lái)自 Harvey and Liu (2015)，顯示了回測(cè)期內(nèi)不同 number of tests（如測(cè)試的因子的個(gè)數(shù)，或者參數(shù)組的個(gè)數(shù)）時(shí)，Haircut 和夏普率的關(guān)系。三條不同的曲線代表三種不同的考慮 multiple testing 影響的方法（分別為 Bonferroni、Holm 以及 BHY 調(diào)整）。從圖中不難看出，當(dāng)樣本內(nèi)的夏普率很小時(shí)，由于過(guò)擬合的存在，打折率為 1，即樣本外的夏普率為零。這種情況隨著 number of tests 的增加而加重。
除此之外，Bailey 和 Lopez de Prado 兩位學(xué)者也討論了 inflated Sharpe Ratio 的問(wèn)題（Bailey and Lopez de Prado 2012, 2014）。在構(gòu)建量化策略時(shí)，人們往往選定一個(gè)策略類型，比如趨勢(shì)追蹤或者統(tǒng)計(jì)套利，然后在給定的模型下使用歷史數(shù)據(jù)尋找最優(yōu)的參數(shù)。在這個(gè)前提下，Bailey 和 Lopez de Prado 假設(shè)不同參數(shù)的策略的夏普率滿足均值為 E[SR]、方差為 V(SR) 的正態(tài)分布。在這個(gè)假設(shè)下，他們計(jì)算得出 N 組不同的參數(shù)中得到的最大的夏普率的期望滿足：
上式中 γ 是歐拉-馬斯刻若尼常數(shù)（Euler-Mascheroni constant），約為 0.5772；Z 為標(biāo)準(zhǔn)正態(tài)分布的累積密度函數(shù)。從上式不難看出，樣本內(nèi)的最大夏普率隨 N 增大和 V(SR) 增大。下圖顯示了當(dāng) E[SR] = 0 時(shí)，僅僅靠增加 N 和 V(SR) 就可以逐漸提升最優(yōu)夏普率。增大 N 對(duì)應(yīng)著在回測(cè)中增加 number of tests，增大 V(SR) 對(duì)應(yīng)著完全不考慮業(yè)務(wù)依據(jù)而漫無(wú)目的的擴(kuò)大參數(shù)的取值范圍。這些都是造成過(guò)擬合的原因。
以上的介紹說(shuō)明，過(guò)擬合不可避免的高估了策略的夏普率，這會(huì)影響對(duì)策略有效性的評(píng)判。因此，定量計(jì)算回測(cè)中過(guò)擬合的概率就顯得非常有必要。它要回答的不是一個(gè)“是”或者“否”的問(wèn)題（回測(cè)都存在過(guò)擬合了），而是定量的評(píng)價(jià)過(guò)擬合的程度。
3 定量計(jì)算過(guò)擬合概率
本節(jié)介紹 Bailey et al. (2017) 提出的計(jì)算回測(cè)中過(guò)擬合概率的框架。首先來(lái)定義 Probability of Backtest Overfitting。假設(shè)一共有 N 組不同的參數(shù)構(gòu)建的策略，令 n* 代表樣本內(nèi)表現(xiàn)最好的那組參數(shù)（最好意味著樣本內(nèi) SR 最高，或者其他類似的指標(biāo)）；令 SR_OOS(n) 表示第 n 組參數(shù)在樣本外的夏普率（下標(biāo) OOS 意為 out of sample），令 ME[SR_OOS] 表示所有 N 組參數(shù)在樣本外夏普率的中位數(shù)；Probability of Backtest Overfitting（PBO）的定義如下：
由于樣本內(nèi)存在過(guò)擬合，因此樣本內(nèi)的最優(yōu)參數(shù)不一定是樣本外最好的。回測(cè)中過(guò)擬合的概率 PBO 的定義為樣本內(nèi)最優(yōu)參數(shù) n* 在樣本外的夏普率小于所有 N 組參數(shù)在樣本外夏普率的中位數(shù)的概率。有了 PBO 的定義，下面馬上來(lái)介紹計(jì)算 PBO 的框架。它的名字叫 Combinatorially-Symmetric Cross-Validation（組合對(duì)稱交叉驗(yàn)證，簡(jiǎn)稱 CSCV）。假設(shè)我們一共測(cè)試了 N 組參數(shù)，回測(cè)期長(zhǎng)度為 T。CSCV 由以下步驟構(gòu)成：
第一步：首先在回測(cè)期內(nèi)使用 N 組參數(shù)各自跑策略，得到每組參數(shù)在 T 期的收益率序列，以此構(gòu)建一個(gè) T × N 階矩陣 M，M 的每一列代表為某組參數(shù) n 的 T 期收益率序列。
第二步：將 M 矩陣按行劃分成 S 個(gè)互不相交的 T/S × N 階子矩陣。例如，假設(shè)原始的 T = 1000 期，則可以取 S = 10，并把 M 劃分成 10 個(gè)子集，每個(gè)子集為 100 × N 階矩陣。
第三步：從全部 S 個(gè)子矩陣中，取出 S/2 個(gè)，令 C_s 代表所有可能的組合。舉例來(lái)說(shuō)，如果 S = 10，則從 10 個(gè)子集中取出 5 個(gè)，一共有 252 種組合方法，C_s 就是這 252 種組合的合集。
第四步：對(duì) C_s 中的每一個(gè)特定組合 c，進(jìn)行如下操作：
4a. 將 c 包含的子矩陣拼在一起構(gòu)成訓(xùn)練集 J，它是一個(gè) S/2 × N 階矩陣；
4b. 將全部 S 個(gè)子矩陣中不被 c 包含的子矩陣（即 c 的補(bǔ)集）拼在一起構(gòu)成測(cè)試集 J_c，它也是一個(gè) S/2 × N 階矩陣；
4c. 在訓(xùn)練集 J 矩陣中，計(jì)算每一列收益率序列的夏普率，它們之中夏普率最大的對(duì)應(yīng)的策略 n* 為樣本內(nèi)的最優(yōu)策略；
4d. 在對(duì)應(yīng)的測(cè)試集 J_c 矩陣中，計(jì)算每一列收益率序列的夏普率，并求出 n* 這組參數(shù)在樣本外的相對(duì)排名 w，w 的取值在 0 到 1 之間，1 意味著樣本內(nèi)最優(yōu)的策略 n* 在樣本外同樣最優(yōu)。
4e. 定義 logit 變量如下：
由定義可知，如果 n* 在樣本外的表現(xiàn)等于所有參數(shù)在樣本外夏普率的中位數(shù)，則 w = 0.5，而 λ = 0。
第五步：上一步后會(huì)得到 λ 的經(jīng)驗(yàn)分布 f(λ)，由此就可以求出 PBO：
通過(guò)考察 PBO 的大小，就能夠定量的評(píng)價(jià)一個(gè)策略是否靠譜：真正有效的策略的 PBO 應(yīng)該較小。CSCV 的發(fā)明者之一 Dr. Marcos Lopez de Prado 指出該方法具有以下優(yōu)點(diǎn)：
1. CSCV 保證了訓(xùn)練集和測(cè)試集同樣大小，從而使得樣本內(nèi)外的夏普率具有可比性。
2. 由于考慮了全部的組合，任何一個(gè)被用做訓(xùn)練集的組合都在之后反過(guò)來(lái)被當(dāng)作測(cè)試集（反之亦然），這保證了訓(xùn)練集和測(cè)試集的數(shù)據(jù)是對(duì)稱的，因此夏普率在樣本外的降低只可能來(lái)自過(guò)擬合。
3. CSCV 將整個(gè) T 期數(shù)據(jù)劃分成長(zhǎng)度為 T/S 的 S 個(gè)子集，而非隨機(jī)的從 T 期內(nèi)選出一定長(zhǎng)度的數(shù)據(jù)，這保證了策略收益率的時(shí)序相關(guān)性。
4.?整個(gè)求解 PBO 的過(guò)程是 model-free 以及 non-parametric 的；它得到 λ 的經(jīng)驗(yàn)分布 f(λ)，進(jìn)而計(jì)算出過(guò)擬合的概率，不需要對(duì) PBO 的模型或者參數(shù)做任何假設(shè)。
接下來(lái)就通過(guò)一個(gè)例子來(lái)應(yīng)用 CSCV。
4 一個(gè)例子
在《從 CTA 趨勢(shì)策略的表現(xiàn)看量化投資面臨的挑戰(zhàn)》一文中，我們使用 15 種商品期貨的指數(shù)定性分析了過(guò)去 5 年趨勢(shì)追蹤策略的表現(xiàn)。該文的實(shí)證采用的是最簡(jiǎn)單的雙均線策略 —— 短周期均線上穿長(zhǎng)周期均線策略時(shí)做多；短周期均線下穿長(zhǎng)周期均線時(shí)做空。長(zhǎng)、短周期就是策略的兩個(gè)待優(yōu)化的參數(shù)（由 LW 和 SW 表示）。下面就使用本文介紹的框架來(lái)計(jì)算優(yōu)化這兩個(gè)參數(shù)時(shí)的過(guò)擬合概率。
在回測(cè)中，令短周期均線參數(shù) SW 的取值范圍為 1 到 20、長(zhǎng)周期均線參數(shù) LW 的取值范圍是 SW + 1 到 50，步長(zhǎng)均為 1，因此一共有 790 組參數(shù)（N = 790）。令回測(cè)長(zhǎng)度為 1000 個(gè)交易日。使用這 790 組參數(shù)分別進(jìn)行回測(cè)，得到每組參數(shù)下策略在這 1000 個(gè)交易日內(nèi)的收益率序列，從而構(gòu)建原始的 M 矩陣（1000 × 790 階）。
使用第四節(jié)介紹的 CSCV 框架分析 M 矩陣，假設(shè)分析中 S = 10，因此一共有 252 種（10 選 5）回測(cè) + 測(cè)試集的配對(duì)。在計(jì)算 PBO 之前我們先來(lái)做一個(gè)實(shí)驗(yàn)。對(duì)于每一種配對(duì)，求出樣本內(nèi)最優(yōu)參數(shù)的夏普率和該組參數(shù)在樣本外的夏普率，這兩個(gè)夏普率便構(gòu)成一個(gè)樣本點(diǎn)，因此一共有 252 個(gè)樣本點(diǎn)。這 252 個(gè)點(diǎn)的散點(diǎn)圖如下（其中紅線為回歸得到的線性關(guān)系）：
樣本內(nèi)最優(yōu)參數(shù)的夏普率和其在樣本外的夏普率之間的相關(guān)系數(shù)為 -0.36；上述回歸直線的斜率為負(fù)也說(shuō)明了這種負(fù)相關(guān)關(guān)系。這說(shuō)明，對(duì)于這個(gè)雙均線趨勢(shì)策略，樣本內(nèi)最好的參數(shù)傾向于在樣本外有更差的表現(xiàn)。在進(jìn)一步使用 CSCV 計(jì)算 PBO 之前，我們觀察到上圖中存在一些不正常的現(xiàn)象 —— 這些散點(diǎn)的分布區(qū)域的上限似乎近似的坐落在一條直線上（下圖），意味著這些點(diǎn)對(duì)應(yīng)的訓(xùn)練集和測(cè)試集的夏普率之和大致相同。
出現(xiàn)這種現(xiàn)象的原因是趨勢(shì)策略非常依賴價(jià)格序列的路徑。在整個(gè) 1000 個(gè)交易日的回測(cè)期內(nèi)，趨勢(shì)策略掙錢的表現(xiàn)集中在某些特定的時(shí)間。當(dāng)我們采用 CSCV 將這 1000 個(gè)交易日劃分成 252 個(gè)長(zhǎng)度各為 500 的訓(xùn)練集、測(cè)試集配對(duì)時(shí)，這其中有相當(dāng)一部分的訓(xùn)練集都包含了趨勢(shì)策略最賺錢的那些特定時(shí)間，使得這些訓(xùn)練集中的最優(yōu)參數(shù)相同。
對(duì)于這些訓(xùn)練集、測(cè)試集配對(duì)，它們的 n* 相同，因此它們?cè)跇颖緝?nèi)、外全部 1000 個(gè)交易日內(nèi)收益率的均值都是來(lái)自策略 n*，即均值相同。雖然這些配對(duì)中的訓(xùn)練集和測(cè)試集不盡相同，但由于收益率的波動(dòng)率在整個(gè)回測(cè)期內(nèi)較為穩(wěn)定，因此訓(xùn)練集和測(cè)試集內(nèi)的夏普率之和近似的等于這兩個(gè)序列中收益率均值之和。綜合以上兩點(diǎn)就能夠解釋為什么這些配對(duì)的樣本內(nèi)、外夏普率之和非常接近。由于它們對(duì)應(yīng)的 n* 恰好又是整段回測(cè)期內(nèi)效果最好的參數(shù)，因此這些配對(duì)的散點(diǎn)構(gòu)成了上圖中散點(diǎn)分布中不正常的線性上限。
為了減弱路徑依賴對(duì)評(píng)判趨勢(shì)策略過(guò)擬合程度的影響，我們對(duì) CSCV 進(jìn)行適當(dāng)?shù)母倪M(jìn)，引入一定的隨機(jī)性。在 CSCV 的第三、四步，不是考慮所有可能的組合，而是隨機(jī)的構(gòu)建訓(xùn)練集和測(cè)試集。具體的，將長(zhǎng)度 1000 的回測(cè)期分成 50 個(gè)長(zhǎng)度為 20 個(gè)交易日的子集。從這 50 個(gè)子集中，隨機(jī)選出 13 個(gè)作為測(cè)試集、13 個(gè)作為訓(xùn)練集（13 這個(gè)數(shù)并沒(méi)有什么特殊的含義），因此訓(xùn)練集和測(cè)試集的長(zhǎng)度各為 260 個(gè)交易日。將上述過(guò)程重復(fù) 250 次，得到 250 個(gè)訓(xùn)練集、測(cè)試集配對(duì)，然后計(jì)算 λ 的經(jīng)驗(yàn)分布 f(λ) 以及 PBO。引入隨機(jī)性后，再次畫(huà)出樣本內(nèi)最優(yōu)參數(shù)的夏普率和它在樣本外的夏普率的散點(diǎn)圖（下圖），原始結(jié)果中不正常的線性上限消失了。回歸方程的斜率是 -0.49，說(shuō)明樣本內(nèi)、外的夏普率之間存在負(fù)相關(guān)性。
此外，λ 的經(jīng)驗(yàn)分布 f(λ) 如下圖所示：
通過(guò) f(λ) 求出 PBO = 0.572 —— 在使用雙均線構(gòu)建趨勢(shì)追蹤策略時(shí)，回測(cè)中過(guò)擬合的概率高達(dá) 0.572。一個(gè)靠譜的策略的 PBO 不應(yīng)該這么高。因此，在使用雙均線構(gòu)建趨勢(shì)策略時(shí)必須格外小心。本節(jié)的例子說(shuō)明使用 CSCV 這個(gè)框架能夠方便的計(jì)算出 PBO，從而評(píng)價(jià)一個(gè)策略是不是靠譜。此外，本節(jié)花了一定的篇幅指出了趨勢(shì)策略的路徑依賴對(duì) CSCV 結(jié)果造成的影響。通過(guò)它想要強(qiáng)調(diào)的是，再先進(jìn)的統(tǒng)計(jì)方法也不應(yīng)該代替我們的獨(dú)立思考，我們必須為自己的回測(cè)結(jié)果負(fù)責(zé)。
5 結(jié)語(yǔ)
2005 年，發(fā)表于 PLoS Medicine 上的一篇題為 Why most published research findings are false 的文章（Ioannidis 2005）引起了廣泛的關(guān)注。該文指出科學(xué)界，特別是醫(yī)學(xué)界有相當(dāng)一部分所謂的顯著發(fā)現(xiàn)都是錯(cuò)誤的。而原因之一正是經(jīng)過(guò)大量測(cè)試后找出的那個(gè)最顯著的往往是 false discovery。2015 年醫(yī)學(xué)界最權(quán)威的同行評(píng)審期刊之一柳葉刀（The Lancet）的主編 Dr. Horton 指出醫(yī)學(xué)界一半的研究成果是錯(cuò)誤的（Horton 2015）。
The case against science is straightforward: much of the scientific literature, perhaps half, may simply be untrue.?Afflicted by studies with small sample sizes, tiny effects, invalid exploratory analyses, and flagrant conflicts of interest, together with an obsession for pursuing fashionable trends of dubious importance, science has taken a turn towards darkness.
雖然比醫(yī)學(xué)界晚了差不多 10 年，但幸運(yùn)的是，金融圈也已經(jīng)意識(shí)到了 multiple testing 帶來(lái)了太多的虛假發(fā)現(xiàn)（例如并不能掙錢的策略，或者是不能解釋預(yù)期收益率截面差異的因子）。以 Dr. Campbell Harvey（學(xué)術(shù)界 —— 杜克大學(xué)商學(xué)院教授、前美國(guó)金融協(xié)會(huì)主席）和 Dr. Marcos Lopez de Prado（業(yè)界 —— AQR Capital, Head of Machine Learning）為代表的學(xué)者們從幾年前開(kāi)始就呼吁這個(gè)嚴(yán)峻的問(wèn)題，并提出了對(duì) multiple testing 造成的過(guò)高 false discovery rate 的解決方法。我之前的文章《出色不如走運(yùn) (II)》對(duì) Dr. Harvey 的一些研究進(jìn)行了梳理，而本文介紹的回測(cè)中過(guò)擬合概率的量化手段則是 Dr. Lopez de Prado 和他的 co-authors 提出的。
一個(gè)量化策略的提出往往經(jīng)過(guò)回測(cè)、模擬盤、實(shí)盤三個(gè)階段。回測(cè)中有很多門道（見(jiàn)《科學(xué)回測(cè)中的大學(xué)問(wèn)》）；回測(cè)準(zhǔn)確與否對(duì)于該策略在實(shí)盤外的表現(xiàn)至關(guān)重要。由于金融數(shù)據(jù)的信噪比極低且難以分辨出數(shù)據(jù)中哪些是噪音、哪些是因果關(guān)系，這使得回測(cè)中或多或少都會(huì)存在過(guò)擬合。如今，僅僅通過(guò)考察參數(shù)平原或者使用有限訓(xùn)練集、測(cè)試集來(lái)評(píng)價(jià)過(guò)擬合的危害是遠(yuǎn)遠(yuǎn)不夠的。希望學(xué)術(shù)界和業(yè)界提出的這些新方法能帶給我們更多的啟發(fā)。
參考文獻(xiàn)
Bailey, D. H. and M. Lopez de Prado (2012). The Sharpe ratio efficient frontier. Journal of Risk 15(2), 3 – 44.
Bailey, D. H. and M. Lopez de Prado (2014). The deflated Sharpe ratio: Correcting for selection bias, backtest overfitting, and non-Normality. The Journal of Portfolio Management 40(5), 94 – 107.
Bailey, D. H., J. M. Borwein, M. Lopez de Prado, and Q. J. Zhu (2017). The probability of backtest overfitting. Journal of Computational Finance 20(4), 39 – 69.
Harvey, C. R. and Y. Liu (2015). Backtesting. The?Journal of Portfolio Management 42(1), 13 – 28.
Horton, R. (2015). Offline: What is medicine's 5 sigma? Lancet 385(9976), 1380.
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine 2(8), 696 – 701.
免責(zé)聲明：入市有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。在任何情況下，本文的內(nèi)容、信息及數(shù)據(jù)或所表述的意見(jiàn)并不構(gòu)成對(duì)任何人的投資建議。在任何情況下，本文作者及所屬機(jī)構(gòu)不對(duì)任何人因使用本文的任何內(nèi)容所引致的任何損失負(fù)任何責(zé)任。除特別說(shuō)明外，文中圖表均直接或間接來(lái)自于相應(yīng)論文，僅為介紹之用，版權(quán)歸原作者和期刊所有。