回測的坑:倖存者偏差與未來函式
這一節講什麼
過擬合還算容易發現,這三個坑更隱蔽:樣本里少了已經消失的公司、假設了實際上成交不了的價格、用了當時還不知道的資訊。
學完能做到
三個坑各自的識別方法,以及一組「回測結果好得不像真的」時該查什麼的訊號。
1
倖存者偏差
如果你的股票池是「今天還在市場上的所有股票」,那麼已經退市、被併購、長期停牌的公司都不在裡面。
而那些公司恰恰是表現最差的一批。用今天的名單去回測過去,等於假設你當年就知道哪些公司能活下來。
典型症狀:回測顯示「買入跌幅最大的股票然後持有」很賺錢。
現實中這類策略會大量買到後來退市的票,而回測樣本里沒有它們。
ST 與退市 那一節講過退市股的實際下場。
怎麼處理:用包含退市股的完整歷史名單(專業資料來源會提供),
或者至少在結論裡說明這個偏差的方向:你的回測結果偏樂觀。
2
成交假設不成立
回測裡下單必然成交,現實裡不一定。差距最大的三種情況:
一是漲跌停。回測按漲停價買入,實盤要排隊,可能根本買不到, 見 打板那一節。跌停時想賣也一樣賣不掉。
二是流動性。小盤股、冷門股的盤口很薄,你的委託量本身就會推動價格, 見 五檔盤口。回測按收盤價成交,實盤可能差好幾個點。
三是滑價。即使能成交,實際價格也往往比回測假設的差一點。頻率越高影響越大。
典型症狀:策略專門交易小市值、低流動性標的,回測收益極高。
這類結果幾乎都是成交假設造成的。
怎麼處理:加保守的滑價假設(比如每次多算 0.1% 到 0.3%),
漲跌停時假設無法成交,並且限制單筆委託不超過該股日均成交額的一個很小比例。
3
未來函式
在決策時用了當時還拿不到的資訊。這是三個裡最隱蔽也最致命的, 因為它不會讓回測「有點樂觀」,而是讓回測完全失去意義。
常見形式:
- 用當日收盤資料決定當日買入。比如「當日漲幅超過 5% 就買」, 但漲幅要收盤才確定,你無法在盤中知道。
- 用還沒釋出的財報資料。財報有披露日期, 用報告期而不是披露日去對齊資料,就把未來資訊塞進來了。
- 用修訂後的資料。很多宏觀資料會事後修訂, 用修訂值回測等於用了當時不存在的數字。
- 指標計算視窗越界。比如某個「熱度」因子實際上統計了未來幾天的資料。
典型症狀:回測曲線過於平滑、回撤極小、勝率高得不真實。
如果一個策略的回測曲線接近一條直線,先懷疑未來函式,而不是慶祝。
怎麼處理:對每一個用到的資料問一句
「做決策的那一刻,這個數字存在嗎」。
財報要用披露日對齊,盤中訊號只能用已發生的分鐘資料。
回測曲線太漂亮,先查資料,不要先高興。
好得不像真的?先查這幾個數
下面每一條出現時,都要回頭查資料
最大回撤小得離譜查未來函式
勝率超過 70% 且盈虧比也大於 1查未來函式
年化收益超過 50% 且持續多年查成交假設
專做小市值或低流動性標的查滑價與衝擊成本
策略偏愛大跌之後的股票查倖存者偏差
換個時間段結果就完全不同查過擬合(上一節)
這不是說好結果一定有問題。而是說好結果的先驗機率很低,所以看到它時, 合理的反應是增加懷疑而不是增加信心。
一個最基本的自查
如果你自己做回測,至少做到這一條:把資料按時間切成兩半,只用前一半調引數,然後在後一半上跑一次。
後一半的結果如果明顯變差,說明前一半的最佳化是擬合噪音。這個動作成本很低,但能擋掉大部分自欺。
更嚴格的做法是滾動驗證:用第 1 到 3 年調參、第 4 年驗證,再用第 2 到 4 年調參、第 5 年驗證,依此類推。這樣能看出引數是不是需要頻繁調整,而需要頻繁調整本身就是不穩健的訊號。
做
動手做
回到 上一節 你找的那個回測,這次只問三個問題:
一、股票池包含已退市的公司嗎?
二、成交價怎麼假設的,有沒有算滑價?
三、用到的每個資料,在做決策那一刻都存在嗎?
三個問題裡能明確回答的,通常一個都沒有。而這就是你該給這個回測的可信度。
要點:倖存者偏差讓結果偏樂觀,成交假設讓結果無法復現,
未來函式讓結果完全無效。回測曲線太漂亮時先查資料。
最基本的自查:資料切兩半,前半調參、後半驗證。