TradeLearn|1469學交易 trade1469.com
交易系統 · 第 11 節

引數最佳化與過擬合

建立你自己的期貨系統 · 第 11 頁。

這一節講什麼 把最優引數上下各挪一格看結果。左右鄰居都在虧錢的最優引數,幾乎肯定是噪音。
學完能做到 看完你會用三個自查方法識別過擬合、知道樣本外檢驗的那條關鍵限制,以及為什麼引數越少越好。

引數最佳化是回測裡最容易自欺的環節。因為它感覺上像是「改進」, 實際上多數時候是「擬合」。

問題出在哪

任何一段歷史資料裡都存在大量偶然的模式。 而如果你有足夠多的引數可以調,總能找到一組讓曲線好看的。

A股 頻道引過一項研究:Bajgrowicz & Scaillet (2012) 在道瓊斯 1897-2011 上檢驗 7846 條技術規則, 用錯誤發現率控制資料窺探後,樣本內的超額表現被交易成本完全抵消, 而且投資者事前無法選出未來表現最好的規則。

這個結論對期貨同樣適用。

三個自查方法

一是引數敏感性檢驗。找到收益最高的那組引數, 把其中一個加一或減一,看結果變化多少。

如果只動一個數字就讓結果面目全非, 那你找到的不是規律,是這段資料的一個巧合。

二是看引數曲面。把不同引數組合的結果畫成一張表, 好的引數應該處在一片連續的、都還不錯的區域中間, 而不是一個孤立的尖峰。

三是數一數你試了多少組。 試得越多,最好那組是巧合的機率越高。這一點最常被忽略。

樣本外檢驗

把資料分成兩段:只用第一段調參,第二段一次性檢驗, 而且檢驗完不許回頭改引數。

最後那句限制是關鍵。如果你看了樣本外結果不滿意, 回去調參再測一次,那樣本外就變成樣本內了。

這是實踐中最常見的自欺方式,而且做的人往往意識不到自己在做什麼。

期貨上的額外注意

一是資料拼接方式要固定。調參時用一種、 驗證時用另一種,結果沒有可比性。

二是不同品種要分開驗證。 一套引數在螺紋上有效,不代表在銅上有效。 而如果為每個品種單獨調參,引數總數就爆炸了,過擬合風險劇增。

三是海龜法則的啟發。它用 N(ATR)統一所有引數, 好處正是讓同一套規則能套用到所有品種,而不需要逐個調參。

一個務實的建議

引數越少越好,而且儘量用有含義的引數。

「20 日突破」比「23 日突破」好,不是因為 20 更有效, 而是因為 20 是一個自然的選擇(約一個月的交易日), 而 23 只可能來自最佳化。

同理,用 ATR 的倍數比用固定點數好, 因為前者有明確的經濟含義(波動的倍數), 後者只是一個湊出來的數。

如果只動一個引數就讓結果面目全非,那你找到的不是規律,是這段資料的一個巧合。
做

動手做

把你現在用的引數上下各挪一格,重新看一遍結果。如果三組結果差別巨大,那說明你選的是一個巧合。

要點:只動一個引數就讓結果面目全非,那不是規律是巧合。而樣本外檢驗的關鍵限制是:檢驗完不許回頭改引數。