回測的坑:倖存者偏差
這一節講什麼
退市的公司會從資料裡消失,於是回測的世界比真實世界友好得多。
學完能做到
倖存者偏差在美股回測裡的具體形態,以及一個自己就能做的檢驗。
回測的世界比真實世界友好, 因為失敗的那些已經從資料裡消失了。
它在美股的三種形態
二、指數成分是事後的
用當前的指數成分去回測過去, 等於假設你在幾年前就知道哪些公司會被納入指數。
而被納入通常發生在公司已經成功之後。
三、策略本身的倖存
你看到的公開策略,是從大量被測試過的策略裡挑出來的那些。
失敗的策略不會被髮表, 所以「這個策略回測很好」這句話的資訊量比看起來小。
這個偏差有多大
它的方向永遠是同一個:讓回測結果好於真實。
而且它對高風險策略的影響更大, 因為那些策略在真實世界裡更容易碰到退市和暴跌的公司。
一個自己就能做的檢驗
問一句:如果這段時間裡有公司退市,我的回測會怎麼處理
如果答案是「資料裡沒有退市的公司」, 那你的回測結果就有系統性偏差。
知道這一點之後,正確的做法不是修正資料 (個人很難做到),而是把回測結果往差裡打折。
相關的一個偏差
選擇偏差。 你在篩選標的時用的條件, 可能已經隱含了「這家公司後來表現不錯」這個資訊。
典型例子:用「過去五年營收持續增長」來篩選, 那五年的資料在當時是拿不到的。
正確的態度
不是不做回測,是知道回測能回答什麼。
它能回答:這套規則在這段歷史上的表現如何、 最大回撤有多大、連虧最長几筆。
它不能回答:這套規則未來能賺多少。
而前者對定部位有用 (見 U5-10), 這已經是回測最大的價值了。
做
動手做
如果你做過任何回測,問一句:這段時間裡退市的公司在不在資料裡?
如果不在,把回測結果打個折再用。
要點:倖存者偏差在美股的三種形態是退市公司從資料消失、指數成分是事後的、以及策略本身的倖存(失敗的策略不會被髮表)。它的方向永遠是讓回測好於真實,且對高風險策略影響更大。檢驗方法是問退市公司在不在資料裡,知道之後正確做法是把結果往差裡打折而不是試圖修正資料。回測能回答規則在這段歷史上的表現和最大回撤,不能回答未來能賺多少。