回測的坑:倖存者偏差在這裡更嚴重
這一節講什麼
已經歸零和下架的幣種不會出現在你的資料裡,而它們曾經佔了很大比例。
學完能做到
倖存者偏差在這個市場的回測裡為什麼格外嚴重、它會讓結果偏離多少,以及三種緩解辦法。
這個市場的回測有一個傳統市場沒那麼嚴重的問題: 你手上的歷史資料,只包含活到今天的那些幣。
消失的那些去哪了
三種消失方式:
一是歸零。價格跌到接近零, 純投機標的這一類歷史上大量如此。
二是下架。成交量長期不足,平臺移除交易對 (見 C3-11)。
三是專案停止運作。團隊解散、合約不再維護。
三種情況下,那個幣的歷史資料通常也從主流資料來源裡消失了。 於是你回測時看到的樣本,是一個被篩選過的樣本。
這會讓結果偏多少
沒有一個通用的數字,但可以估個方向:
如果你的策略是「在小市值幣上找機會」, 那麼偏差會非常大,因為消失率最高的正是這一類。
你的回測在說「這個策略在這些幣上有效」, 而它沒告訴你的是:還有一批幣,同樣的策略會讓你歸零, 只是它們已經不在資料裡了。
如果策略只做少數幾個主流幣,偏差會小得多, 因為那幾個的存活率高。
三種緩解辦法
一
只在存活率高的品種上回測
把範圍限制在少數幾個長期存在的主流幣。
這是最簡單也最有效的一條。 代價是策略的適用範圍變窄, 但那個「變窄」本來就是真實的約束, 只是之前被倖存者偏差掩蓋了。二
手工補上已知的失敗案例
找幾個已經歸零或下架的幣,把它們的資料加進回測。
資料可能不完整,但哪怕只加幾個, 也能看出策略在這類情況下的表現。 通常結果會難看很多。一個相關的陷阱
用「當前的幣種列表」去回測過去。
比如取今天市值前二十的幣,回測過去三年。 問題在於三年前的前二十跟今天不是同一批, 而你選中的這批是「三年後還在前二十」的那些。
這個偏差可能非常大, 因為它等於用了未來資訊。
回測的樣本必須是「當時能選到的」,不是「現在看起來該選的」。
做
動手做
如果你做過回測,檢查:你的幣種列表是怎麼來的?
如果是「現在市值排名前多少」,那麼這個回測用了未來資訊,結果會明顯偏樂觀。
要點:歸零、下架、停止運作的幣會從資料來源裡消失,所以回測樣本是被篩選過的,而這個偏差在小市值幣上最大。更隱蔽的陷阱是用當前的幣種列表去回測過去,那等於用了未來資訊。