回測的坑:前視偏差與復權
這兩個坑的共同點是: 它們不會讓回測報錯,只會讓回測變好看。 所以它們特別難被發現。
前視偏差
用了當時還拿不到的資訊
四種常見來源:
一、財務資料的釋出延遲。 某季度的財報要等幾周後才釋出, 但資料來源可能把它標註在季度末。
二、當日收盤價。 用收盤價作為訊號又用收盤價成交, 實際上你在收盤前不知道收盤價是多少。
三、資料修正。 宏觀資料經常被後續修正, 而你看到的歷史序列是修正後的版本。
四、成分調整。見 上一節。
復權口徑
三種價格序列,含義不同
一、原始價格:歷史上實際成交的價格。
二、前復權:把歷史價格按分紅拆股調整到當前口徑。
三、後復權:把當前價格調整到歷史口徑。
用錯口徑會讓分紅除息日看起來像一次下跌, 或者讓拆股看起來像一次暴跌。
因為前者關心的是持有人的實際回報, 後者關心的是當時的市場參與者看到的是什麼價格。
前復權還有一個陷阱
前復權序列會隨著新的分紅和拆股而變化。
也就是說,你今天跑的回測和三個月後跑的回測, 用的歷史資料可能不一樣, 而這個變化是靜默的。
應對:把回測用的資料快照存下來,標註取數日期 (見 U11-1)。
怎麼發現這兩個坑
一、如果回測結果好得不像話,先懷疑資料。 異常好的結果通常是資料問題,不是方法突破。
二、檢查每一個訊號用到的資料在那個時點是否可得。 逐項過一遍,這是唯一可靠的方法。
三、做樣本外檢驗。 用一段完全沒參與開發的資料驗證, 前視偏差在樣本外通常會立刻暴露。
一個務實的建議
個人投資者做回測, 很難做到完全乾淨。
所以更實際的做法是: 把回測當成「排除明顯不行的方案」的工具, 而不是「證明這個方案行」的工具。
前者對資料質量的要求低得多,而且它已經很有價值。
動手做
如果你用過任何歷史價格資料,查清楚它是原始價格還是復權價格。
然後找一個做過拆股的標的,看那個日期附近的資料長什麼樣。