回測的坑:過擬合
先拆一個真實流傳的回測
在量化社群裡能搜到大量打板策略的回測。下面這個是其中比較典型的一個:
這個數字本身沒有造假。問題在於它無法說明這個策略未來能賺錢。逐條看:
樣本期只有半年
按每天一次交易算,半年也就一百多筆。 上一節 講過,這個樣本量連「有沒有優勢」都分辨不出來, 更不用說算年化。而且把半年的收益年化本身就是一種放大。
樣本期落在特定行情段
2024 年 9 月之後有一段明顯的行情。一個在單邊上漲裡測出來的做多策略, 說明不了它在震盪市和下跌市裡的表現。好的回測至少要跨越一次完整的牛熊。
倖存者偏差:你只看到了發出來的那個
同樣的思路可以生成成百上千個引數組合,其中總有幾個的歷史表現很好。 發出來的是那幾個,虧錢的那些沒人發。這跟 FOMO 那一節 講的盈利截圖是同一個機制。
「概念熱度」很可能含未來資訊
這類因子如果用了當日收盤後才能確定的資料來決定當日買入, 就是未來函式。這是回測裡最隱蔽也最致命的錯誤, 下一節 專門講。
按漲停價成交,實盤可能根本排不上隊
回測假設你能在漲停價買到。而 打板那一節 講過, 漲停價上只有時間優先,你的委託大機率排在幾萬手後面。 回測裡 100% 成交,實盤可能只有 20%,而且成交的那些往往是板要炸的時候。
不計滑價和衝擊成本
即使算了手續費,滑價通常也沒算。而這類策略的交易頻率極高, 上一節 算過:頻率是成本的乘數。
六條裡任何一條都足以讓這個數字失去參考價值。而它們同時存在。
過擬合是怎麼發生的
假設你有一個策略,裡面有個引數(比如均線週期)。你在歷史資料上試遍所有取值,選表現最好的那個。
這個動作看起來很合理,實際上你選的是「在這段歷史的噪音裡恰好最合適」的那個值。
把滑塊拖到樣本內表現最好的那個位置,看看樣本外是多少。這就是過擬合:樣本內的峰值,在樣本外往往平平無奇甚至更差。
而且有個反直覺的規律:樣本內曲線越尖銳,越可能是過擬合。一個真正穩健的策略,引數在一定範圍內變化時表現應該都還可以,而不是隻在某一個點上特別好。
回測檢查清單
下次看到任何回測(別人的或自己的),按順序問這七個問題:
- 樣本期多長,跨越了幾種市場環境?少於兩年、或者沒跨過牛熊的,直接打折。
- 試了多少組引數?試得越多,最優那組是運氣的可能性越大。
- 引數附近的表現如何?只在一個點上好的,是過擬合。
- 有沒有樣本外驗證?用一段資料調參,用另一段沒碰過的資料驗證。這是最基本的要求。
- 成本怎麼算的?佣金、印花稅、滑價分別按多少算的。頻率高的策略 尤其要看這條。
- 成交假設是什麼?按什麼價格成交、假設成交率多少、有沒有考慮流動性。
- 有沒有用到當時拿不到的資訊?這是 未來函式,最隱蔽。
七個問題裡,第 4 條(樣本外驗證)和第 7 條(未來函式)是硬門檻。這兩條不過關的回測,收益率再高也不用看。
動手做
去搜一個「年化 XX%」的策略回測(量化社群、公眾號、研報都行), 用上面七個問題逐條問一遍。
記錄它能回答幾個。多數情況下, 連樣本期和成本假設這兩條基本資訊都沒寫。
這個練習的價值在於:以後再看到類似的數字,你的第一反應會從「哇」變成「樣本期多長」。