協(xié)方差矩陣的 Newey-West 調(diào)整
發(fā)布時(shí)間:2018-06-26 | 來源: 川總寫量化
作者:石川
摘要:子收益率之間存在自相關(guān)性,導(dǎo)致協(xié)方差矩陣存在誤差。Newey-West 調(diào)整可以解決這個(gè)問題,得到協(xié)方差矩陣的相合估計(jì)。它在 Barra 的多因子模型中有重要作用。
1 引言
我在《正確理解 Barra 的純因子模型》介紹了 Barra 的多因子模型。該文討論的重點(diǎn)在于從業(yè)務(wù)上說明國(guó)家、行業(yè)、風(fēng)格純因子投資組合的含義,而非具體的數(shù)學(xué)計(jì)算。不過,后來我意識(shí)到我給自己挖了一個(gè)坑。因?yàn)橛袀€(gè)小伙伴給我們留言詢問在計(jì)算因子協(xié)方差矩陣時(shí),Barra 使用的 Newey-West 調(diào)整是怎么一回事兒。所以今天就來填坑了。本文就來簡(jiǎn)單說說 Newey-West 調(diào)整對(duì)于協(xié)方差矩陣估計(jì)的重要性。在我為了寫作本文而查閱的相關(guān)資料中,除了文末參考文獻(xiàn)中的幾篇重要論文外,知乎上的兩篇討論也給我很多啟發(fā)(見參考文獻(xiàn)),特此感謝。
2 為什么關(guān)注協(xié)方差矩陣
通過多因子模型,我們可以把個(gè)股的收益率表達(dá)為因子收益率和個(gè)股特異性收益率的形式:
式中?r 為 N × 1 維個(gè)股收益率向量(省略了時(shí)間下標(biāo),假設(shè)有 N 支股票)、X 為當(dāng)期因子暴露矩陣(N × K 矩陣,K 為因子個(gè)數(shù)),f 為 K × 1 維因子收益率向量,u 為 N × 1 維個(gè)股特異性收益率向量。使用因子模型的好處是可以用它來推算個(gè)股收益率之間的協(xié)方差矩陣。直接計(jì)算股票收益率協(xié)方差矩陣的問題是該矩陣有 0.5 × (N^2 + N) 個(gè)不同的參數(shù)需要估計(jì)。這意味著我們至少需要 N 個(gè)樣本數(shù)據(jù)來計(jì)算它。由于 N 是個(gè)股的個(gè)數(shù),通常很大,因此這幾乎是不可能的任務(wù)。
多因子模型的好處是,它把股票的收益率轉(zhuǎn)換為因子收益率的線性組合。因此股票的風(fēng)險(xiǎn)也轉(zhuǎn)換為因子風(fēng)險(xiǎn)的組合。因?yàn)橐蜃拥膫€(gè)數(shù)遠(yuǎn)遠(yuǎn)小于股票的個(gè)數(shù),估計(jì)因子收益率的協(xié)方差矩陣要容易的多。對(duì) r = Xf + u 等號(hào)兩邊同時(shí)做協(xié)方差運(yùn)算可得:
式中?V(N × N)是股票收益率的協(xié)方差矩陣,V_f(K × K)是因子收益率的協(xié)方差矩陣,而 Δ 為 N × N 對(duì)角陣,其對(duì)角線上的元素對(duì)應(yīng)個(gè)股的特異性收益率的方差 —— 多因子模型假設(shè)股票的特異性收益和因子解釋的收益率之間是獨(dú)立的,因此因子收益率和特異性收益率之間不存在協(xié)方差;此外,模型同時(shí)假設(shè)不同股票的特異性收益率是相互獨(dú)立的,因此股票的特異性收益率的協(xié)方差也為 0。可見,為了得到 V,對(duì)于 V_f 的求解至關(guān)重要。Newey-West 調(diào)整就是為了更準(zhǔn)確的計(jì)算出 V_f。
3 時(shí)序不相關(guān)條件下協(xié)方差矩陣求解
在介紹協(xié)方差矩陣的 Newey-West 調(diào)整前,我們首先看看當(dāng)因子收益率在時(shí)序上沒有相關(guān)性時(shí)的做法(通常的做法)。為了簡(jiǎn)化數(shù)學(xué)表達(dá),在下面的推導(dǎo)中,假設(shè)收益率已經(jīng)去均值化(demean)了。假設(shè)共有 K 個(gè)因子,令 F_t 表示第 t 期這 K 個(gè)因子的收益率向量,它是一個(gè) K × 1 向量:
在上面的表達(dá)中,符號(hào) f_t^(k) 既有下標(biāo)也有上標(biāo):下標(biāo) t 表示第 t 期,而上標(biāo) (k) 表示第 k 個(gè)因子,因此 k 的取值是從 1 到 K,所以 f_t^(k) 就代表第 t 期,因子 k 的收益率(按照本小節(jié)一開始的說明,所有的 f_t^(k) 都已經(jīng) demean 了)。將 F_t 和它的轉(zhuǎn)置 F_t' 相乘,利于線性代數(shù)的定義得到 F_tF_t':
假設(shè)計(jì)算協(xié)方差矩陣的時(shí)間窗口為 T,即 t 的取值為 1 到 T。對(duì) T 窗口內(nèi)的所有 t 都進(jìn)行上述運(yùn)算并把不同 t 的 F_tF_t' 相加得到 ΣF_tF_t':
最后,將 ΣF_tF_t' 除以時(shí)間窗口長(zhǎng)度 T 就得到 (1/T) ΣF_tF_t',這正是以 T 窗口為長(zhǎng)度計(jì)算出來的 K 個(gè)因子收益率的協(xié)方差矩陣 V_f:
寫了這么“啰嗦”的推導(dǎo),實(shí)在不是因?yàn)槲矣芯庉嫈?shù)學(xué)公式的癖好,而是希望我們能夠?qū)θ绾螐囊蜃邮找媛氏蛄壳蠼鈪f(xié)方差矩陣加深印象。這是因?yàn)?Newey and West (1987) 這篇提出 Newey-West 調(diào)整的論文行文風(fēng)格非常干練、沒有任何廢話,上來就是矩陣和向量的運(yùn)算,直接給出了計(jì)算向量 h_t(θ) 的協(xié)方差矩陣 S_T 的表達(dá)式(見下紅框圖劃重點(diǎn)的部分)。我第一次讀這篇論文的時(shí)候感到云里霧里,難以把該文的推導(dǎo)和 Barra 文獻(xiàn)中關(guān)于 Newey-West 調(diào)整的說明聯(lián)系起來(換句話說,看了 Barra 的文檔說用了 Newey-West 調(diào)整,然后找到 1987 年的這篇論文一看,第一感覺卻是“這倆有關(guān)系嗎……”)。所以在我自己寫作時(shí),我花費(fèi)了上面筆墨解釋了協(xié)方差矩陣到底是怎么從單期收益率向量推導(dǎo)出來的,這能幫助我們更好的閱讀 Newey and West (1987)。
在前文推導(dǎo)中,F_t 可以被認(rèn)為對(duì)應(yīng) Newey and West (1987) 中的 h_t(θ),而 V_f 對(duì)應(yīng) Newey and West (1987) 中 S_T 的估計(jì)量。這樣通過上面的推導(dǎo)就不難理解在?Newey and West (1987)?中 S_T 的估計(jì)量為什么會(huì)有和本文中的 V_f 一樣的表達(dá)式,這對(duì)于理解 Newey and West (1987)?很重要。
Newey and West (1987)? 是嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)論文,因此行文在總體和樣本統(tǒng)計(jì)量之間切換。但在閱讀本文時(shí)請(qǐng)暫時(shí)遺忘總體 vs 樣本統(tǒng)計(jì)量。本文的所有 notation,比如 F_t、V_f 這些都是針對(duì)樣本數(shù)據(jù)而言,正如 Barra 的模型一樣 —— 我們關(guān)注的是如何使用樣本數(shù)據(jù)、通過 Newey-West 調(diào)整來對(duì)未知的協(xié)方差數(shù)據(jù)進(jìn)行估計(jì)。
在接下來的行文中,我們只要記?。?strong style="box-sizing: border-box;">F_t 是一個(gè) K × 1 的列向量,代表第 t 期 K 個(gè)因子的收益率向量(demean 之后的收益率);而通過總共 T 期(sample size)的 F_t, t = 1, 2, …, T 計(jì)算出來的因子收益率協(xié)方差矩陣 V_f 為(請(qǐng)記住這個(gè)式子,下面講 Newey-West 調(diào)整時(shí)還會(huì)用到):
上式就是當(dāng)因子收益率在時(shí)序上沒有自相關(guān)性時(shí)計(jì)算協(xié)方差矩陣的一般方法。值得一提的是,在 Barra 的模型中,它們還對(duì)上式進(jìn)行了一點(diǎn)點(diǎn)修改。上式中對(duì)時(shí)間窗口 T 內(nèi)的各期收益率采用了簡(jiǎn)單平均,而 Barra 的模型采用了指數(shù)平均,目的是為了讓更近期的數(shù)據(jù)有更高的權(quán)重,從而快速捕捉波動(dòng)率的變化。使用指數(shù)平均對(duì)上式進(jìn)行改進(jìn)不是本文關(guān)注的重點(diǎn),因此不再贅述。感興趣的朋友請(qǐng)參考 Briner et al. (2009) 中的第 5.1 節(jié)(這個(gè)文獻(xiàn)是 Barra 的 EUE3 模型 —— 歐洲股權(quán)模型,它和 Barra 的 USE4 以及 CNE5 模型使用的方法相同)。
4 Newey-West 調(diào)整
上一節(jié)給出了當(dāng)因子收益率在時(shí)序上不相關(guān)時(shí)求解協(xié)方差矩陣的方法。然而,當(dāng)因子收益率在時(shí)序上有自相關(guān)性時(shí),上節(jié)的計(jì)算方法就有問題了,它不是真實(shí)協(xié)方差矩陣的一個(gè)相合估計(jì)(consistent estimation)。
相合估計(jì)大致可以理解為隨著樣本個(gè)數(shù)的增加,一個(gè)統(tǒng)計(jì)量的估計(jì)越來越逼近其真實(shí)值,實(shí)現(xiàn)在概率上收斂的效果。相合估計(jì)有助于我們計(jì)算統(tǒng)計(jì)量的估計(jì)誤差,這對(duì)于后續(xù)使用該估計(jì)量至關(guān)重要(比如計(jì)算置信區(qū)間等)。
為了得到相合估計(jì),必須考慮因子收益率之間的自相關(guān)性,從而在計(jì)算協(xié)方差矩陣時(shí)考慮自協(xié)方差的影響,這就是 Newey-West 調(diào)整的作用。此外,Barra 的模型中必須要進(jìn)行自協(xié)方差調(diào)整的另一個(gè)原因是,Barra 的多因子模型是日頻的,因此每天都會(huì)有一期因子收益率,而然它們的風(fēng)險(xiǎn)預(yù)測(cè)模型是月頻的。這意味著 Barra 需要把日頻的協(xié)方差矩陣通過尺度變換(scaling)變成月頻的協(xié)方差矩陣。在這個(gè)過程中就必須考慮日頻收益率之間的序列相關(guān)性。
All EUE3 risk forecasts are?monthly?volatility estimates. The use of?daily?factor returns in (5.1) necessitates scaling the covariance matrices to monthly horizon. This scaling step needs to account for possible serial correlation in subsequent factor returns.
假設(shè)單期的因子收益率 F_t 滿足一個(gè) q 階的序列相關(guān)性,即 F_t 可以用 MA(q) 來刻畫。則協(xié)方差矩陣的一個(gè)最簡(jiǎn)單的相合估計(jì)為(對(duì)應(yīng) Newey and West 1987 中的式 (4)):
在上式中,Γ_0 就是第三節(jié)中不考慮自相關(guān)性的協(xié)方差矩陣,而任何 i ≠ 0 對(duì)應(yīng)的 Γ_i 代表著由 F_t 和從時(shí)刻 t 滯后 i 期得到的 F_{t+i} 計(jì)算出來的自協(xié)方差矩陣。舉個(gè)例子,令 i = 3 則 Γ_3 為:
從這個(gè)例子中不難看出 Γ_3 本身不一定是對(duì)稱的,因此在上述調(diào)整中,對(duì)于任何的滯后期 i,Γ_i 和 Γ_i' 總是成對(duì)出現(xiàn)(Γ_i + Γ_i' 是對(duì)稱的)。需要特別提醒的是,當(dāng)計(jì)算滯后期為 i 的自協(xié)方差時(shí),由于 F_t 和 F_{t+i} 之間有間隔 i,因此在總共 T 長(zhǎng)度時(shí)間窗口內(nèi),這二者的配對(duì)兒個(gè)數(shù)為 T - i、少于 T,但是在計(jì)算 Γ_i 的表達(dá)式中,永遠(yuǎn)是除以 T,而不是 T - i。上述調(diào)整(請(qǐng)注意,我沒有稱該調(diào)整為 Newey-West 調(diào)整!下面馬上就會(huì)解釋)的本質(zhì)是使用最大到 q 階的自協(xié)方差 Γ_i 對(duì) Γ_0 進(jìn)行修正,從而得到調(diào)整后的因子收益率協(xié)方差矩陣 V_f。
上面這個(gè)調(diào)整有一個(gè)小問題,就是如此得到的協(xié)方差矩陣 V_f 不一定是半正定(positive semi-definite)的,而協(xié)方差矩陣必須是半正定的。為了解決這個(gè)問題,大名鼎鼎的 Newey-West 調(diào)整出場(chǎng)。它在上述調(diào)整的思想上,對(duì) Γ_i 的修正加入了 Bartlett 權(quán)重系數(shù) 1 - i/(1+q)。可以看到,該系數(shù)和滯后期 i 成反比,說明兩個(gè)收益率向量 F_t 和 F_{t+i} 的間隔越大,Γ_i 的權(quán)重越小。最終,協(xié)方差矩陣的 Newey-West 調(diào)整為(對(duì)應(yīng) Newey and West 1987 中的式 (5)):
Newey and West (1987) 證明了上面這個(gè)協(xié)方差矩陣是一個(gè)相合估計(jì),而且它是半正定的。這就是 Barra 采用的 Newey-West 調(diào)整。在 Barra 的 EUE3 研究報(bào)告(Briner et al. 2009)中的第五節(jié)對(duì)此有簡(jiǎn)單的說明。此外,前文提到,Barra 需要用日頻的協(xié)方差矩陣通過 scaling 轉(zhuǎn)換成月頻的。為此,Barra 的做法是對(duì) Newey-West 調(diào)整后的日頻協(xié)方差矩陣乘以一個(gè)月內(nèi)的交易天數(shù),即 22,這就得到了最終的因子收益率協(xié)方差矩陣(下圖截自 Briner et al. 2009,在 EUE3 中 Barra 采用的最大滯后期為 15)。
最后想要指出的是,在計(jì)算股票特異性收益率的協(xié)方差矩陣上,Barra 同樣采用了 Newey-West 調(diào)整,只不過對(duì)于個(gè)股特異型收益率,Barra EUE3 模型選擇的最大滯后期為 10。
5 結(jié)語(yǔ)
好了,終于把之前的坑填上了。學(xué)習(xí)大概就是不斷的挖坑然后再填坑的過程。從 Barra 自己的論述來看,它們?cè)谝蜃邮找媛蕝f(xié)方差矩陣以及股票特異性收益率的方差矩陣上面都進(jìn)行了 Newey-West 調(diào)整,且這一調(diào)整被沿用到了最新版的模型中,足見這一步的重要程度。
值得一提的是,在 Barra 的 USE4 模型中,Barra 把協(xié)方差矩陣拆成了分別計(jì)算每個(gè)因子收益率的波動(dòng)率以及不同因子之間的相關(guān)系數(shù)矩陣(而非直接求協(xié)方差矩陣,見 Menchero et al. 2011)。因此,它們對(duì)因子的波動(dòng)率和相關(guān)系數(shù)矩陣分別進(jìn)行 Newey-West 調(diào)整。Barra 的 USE4 模型并沒有披露具體細(xì)節(jié),但萬(wàn)變不離其宗。我猜想應(yīng)該和 EUE3 模型中的處理方法(即本文介紹的方法)一致,區(qū)別就是我們使用不同因子的收益率序列 {f_t^(k} 計(jì)算出類似于本文中的 Γ_i ,即利用 K 個(gè)因子的?{f_t^(k)} 序列求出不同滯后期 i 下相關(guān)系數(shù)的矩陣以及方差的對(duì)角陣,然后用這個(gè)矩陣替換?Γ_i 套入 Newey-West 調(diào)整的表達(dá)式即可;核心是用?{f_t^(k)} 找到正確的矩陣。
比如因子 (1)?和 (2)?之間的滯后期為?i?的相關(guān)系數(shù)可以通過下式計(jì)算,對(duì)所有因子和所有最大滯后期?q?以內(nèi)的 i 計(jì)算就可以求出類似于本文中?Γ_i?的相關(guān)系數(shù)矩陣,然后就可以運(yùn)用 Newey-West?調(diào)整得到相關(guān)系數(shù)矩陣的相合估計(jì)。
我自己尚未對(duì) Newey-West 調(diào)整在 A 股上的有效性進(jìn)行驗(yàn)證,但是國(guó)內(nèi)一些券商的金工團(tuán)隊(duì)在這方面已經(jīng)有了不少的探索。在這方面,天風(fēng)證券應(yīng)該算是走在了前列(天風(fēng)直接對(duì)協(xié)方差矩陣調(diào)整,類似 EUE3 模型)。它應(yīng)該是我最早看到將 Barra 這一套系統(tǒng)應(yīng)用于國(guó)內(nèi) A 股市場(chǎng)上的(至少是 1 年以前),并且還非常有創(chuàng)造性的利用了最優(yōu)化的手段配合 Barra 的體系來進(jìn)行選股。進(jìn)行最優(yōu)化的前提條件當(dāng)然是各種輸入要盡可能準(zhǔn)確,這就能體現(xiàn)出 Newey-West 調(diào)整的重要性了。在今后我們進(jìn)行實(shí)證之后,如果有新的發(fā)現(xiàn),也會(huì)及時(shí)和各位分享。
參考文獻(xiàn)
Briner, B. G., R. C. Smith, and P. Ward (2009). The Barra Europe Equity Model (EUE3). MSCI Barra Research Notes.
Menchero, J., D. J. Orr, and J. Wang (2011).?The Barra US Equity Model (USE4).?MSCI Barra Research Notes.
Newey, W. K. and K. D. West (1987). A simple, positive semi-definite, heteroskedasticity and autocorrelation consistent covariance matrix. Econometrica, Vol. 55(3), 703 – 708.
https://zhuanlan.zhihu.com/p/27197117
https://www.zhihu.com/question/57352186/answer/273603448
免責(zé)聲明:入市有風(fēng)險(xiǎn),投資需謹(jǐn)慎。在任何情況下,本文的內(nèi)容、信息及數(shù)據(jù)或所表述的意見并不構(gòu)成對(duì)任何人的投資建議。在任何情況下,本文作者及所屬機(jī)構(gòu)不對(duì)任何人因使用本文的任何內(nèi)容所引致的任何損失負(fù)任何責(zé)任。除特別說明外,文中圖表均直接或間接來自于相應(yīng)論文,僅為介紹之用,版權(quán)歸原作者和期刊所有。