TradeLearn|1469學交易 trade1469.com
交易系統 · 第 10 節

回測的坑:倖存者偏差與未來函式

建立你自己的交易系統 · 第 10 頁。上一節講引數,這一節講資料。

這一節講什麼 過擬合還算容易發現,這三個坑更隱蔽:樣本里少了已經消失的公司、假設了實際上成交不了的價格、用了當時還不知道的資訊。
學完能做到 三個坑各自的識別方法,以及一組「回測結果好得不像真的」時該查什麼的訊號。
1

倖存者偏差

如果你的股票池是「今天還在市場上的所有股票」,那麼已經退市、被併購、長期停牌的公司都不在裡面。

而那些公司恰恰是表現最差的一批。用今天的名單去回測過去,等於假設你當年就知道哪些公司能活下來。

典型症狀:回測顯示「買入跌幅最大的股票然後持有」很賺錢。 現實中這類策略會大量買到後來退市的票,而回測樣本里沒有它們。 ST 與退市 那一節講過退市股的實際下場。
怎麼處理:用包含退市股的完整歷史名單(專業資料來源會提供), 或者至少在結論裡說明這個偏差的方向:你的回測結果偏樂觀。
2

成交假設不成立

回測裡下單必然成交,現實裡不一定。差距最大的三種情況:

一是漲跌停。回測按漲停價買入,實盤要排隊,可能根本買不到, 見 打板那一節。跌停時想賣也一樣賣不掉。

二是流動性。小盤股、冷門股的盤口很薄,你的委託量本身就會推動價格, 見 五檔盤口。回測按收盤價成交,實盤可能差好幾個點。

三是滑價。即使能成交,實際價格也往往比回測假設的差一點。頻率越高影響越大。

典型症狀:策略專門交易小市值、低流動性標的,回測收益極高。 這類結果幾乎都是成交假設造成的。
怎麼處理:加保守的滑價假設(比如每次多算 0.1% 到 0.3%), 漲跌停時假設無法成交,並且限制單筆委託不超過該股日均成交額的一個很小比例。
3

未來函式

在決策時用了當時還拿不到的資訊。這是三個裡最隱蔽也最致命的, 因為它不會讓回測「有點樂觀」,而是讓回測完全失去意義。

常見形式:

  1. 用當日收盤資料決定當日買入。比如「當日漲幅超過 5% 就買」, 但漲幅要收盤才確定,你無法在盤中知道。
  2. 用還沒釋出的財報資料。財報有披露日期, 用報告期而不是披露日去對齊資料,就把未來資訊塞進來了。
  3. 用修訂後的資料。很多宏觀資料會事後修訂, 用修訂值回測等於用了當時不存在的數字。
  4. 指標計算視窗越界。比如某個「熱度」因子實際上統計了未來幾天的資料。
典型症狀:回測曲線過於平滑、回撤極小、勝率高得不真實。 如果一個策略的回測曲線接近一條直線,先懷疑未來函式,而不是慶祝。
怎麼處理:對每一個用到的資料問一句 「做決策的那一刻,這個數字存在嗎」。 財報要用披露日對齊,盤中訊號只能用已發生的分鐘資料。
回測曲線太漂亮,先查資料,不要先高興。

好得不像真的?先查這幾個數

下面每一條出現時,都要回頭查資料

最大回撤小得離譜查未來函式
勝率超過 70% 且盈虧比也大於 1查未來函式
年化收益超過 50% 且持續多年查成交假設
專做小市值或低流動性標的查滑價與衝擊成本
策略偏愛大跌之後的股票查倖存者偏差
換個時間段結果就完全不同查過擬合(上一節)

這不是說好結果一定有問題。而是說好結果的先驗機率很低,所以看到它時, 合理的反應是增加懷疑而不是增加信心。

一個最基本的自查

如果你自己做回測,至少做到這一條:把資料按時間切成兩半,只用前一半調引數,然後在後一半上跑一次。

後一半的結果如果明顯變差,說明前一半的最佳化是擬合噪音。這個動作成本很低,但能擋掉大部分自欺。

更嚴格的做法是滾動驗證:用第 1 到 3 年調參、第 4 年驗證,再用第 2 到 4 年調參、第 5 年驗證,依此類推。這樣能看出引數是不是需要頻繁調整,而需要頻繁調整本身就是不穩健的訊號。

做

動手做

回到 上一節 你找的那個回測,這次只問三個問題:

一、股票池包含已退市的公司嗎?
二、成交價怎麼假設的,有沒有算滑價?
三、用到的每個資料,在做決策那一刻都存在嗎?

三個問題裡能明確回答的,通常一個都沒有。而這就是你該給這個回測的可信度。

要點:倖存者偏差讓結果偏樂觀,成交假設讓結果無法復現, 未來函式讓結果完全無效。回測曲線太漂亮時先查資料。 最基本的自查:資料切兩半,前半調參、後半驗證。