引數最佳化與過擬合
引數最佳化是回測裡最容易自欺的環節。因為它感覺上像是「改進」, 實際上多數時候是「擬合」。
問題出在哪
任何一段歷史資料裡都存在大量偶然的模式。 而如果你有足夠多的引數可以調,總能找到一組讓曲線好看的。
A股 頻道引過一項研究:Bajgrowicz & Scaillet (2012) 在道瓊斯 1897-2011 上檢驗 7846 條技術規則, 用錯誤發現率控制資料窺探後,樣本內的超額表現被交易成本完全抵消, 而且投資者事前無法選出未來表現最好的規則。
這個結論對期貨同樣適用。
三個自查方法
一是引數敏感性檢驗。找到收益最高的那組引數, 把其中一個加一或減一,看結果變化多少。
如果只動一個數字就讓結果面目全非, 那你找到的不是規律,是這段資料的一個巧合。
二是看引數曲面。把不同引數組合的結果畫成一張表, 好的引數應該處在一片連續的、都還不錯的區域中間, 而不是一個孤立的尖峰。
三是數一數你試了多少組。 試得越多,最好那組是巧合的機率越高。這一點最常被忽略。
樣本外檢驗
把資料分成兩段:只用第一段調參,第二段一次性檢驗, 而且檢驗完不許回頭改引數。
最後那句限制是關鍵。如果你看了樣本外結果不滿意, 回去調參再測一次,那樣本外就變成樣本內了。
這是實踐中最常見的自欺方式,而且做的人往往意識不到自己在做什麼。
期貨上的額外注意
一是資料拼接方式要固定。調參時用一種、 驗證時用另一種,結果沒有可比性。
二是不同品種要分開驗證。 一套引數在螺紋上有效,不代表在銅上有效。 而如果為每個品種單獨調參,引數總數就爆炸了,過擬合風險劇增。
三是海龜法則的啟發。它用 N(ATR)統一所有引數, 好處正是讓同一套規則能套用到所有品種,而不需要逐個調參。
一個務實的建議
引數越少越好,而且儘量用有含義的引數。
「20 日突破」比「23 日突破」好,不是因為 20 更有效, 而是因為 20 是一個自然的選擇(約一個月的交易日), 而 23 只可能來自最佳化。
同理,用 ATR 的倍數比用固定點數好, 因為前者有明確的經濟含義(波動的倍數), 後者只是一個湊出來的數。
動手做
把你現在用的引數上下各挪一格,重新看一遍結果。如果三組結果差別巨大,那說明你選的是一個巧合。