引數最佳化與過擬合
回測跑出來的策略,引數一改結果就變。 於是很自然地會去找「最好的那組引數」。 這一節講為什麼這個動作本身就在製造問題。
一個能算出來的數
假設某一組引數純靠運氣跑出漂亮結果的機率是 5%。 那你試 100 組引數,至少有一組「看起來很好」的機率是多少?
這在加密上更嚴重
三個原因讓同樣的搜尋在這個市場更容易出假陽性:
一是歷史短。多數幣的可用歷史只有幾年, 樣本越少,噪音越容易被當成訊號。
二是波動大。 日均振幅接近 6%, 隨機波動本身就能造出漂亮的淨值曲線。
三是結構變化快。 這個市場幾年前和現在的參與者構成、 產品結構、監管環境都不一樣, 在舊結構上最佳化出來的引數,在新結構裡沒有理由繼續成立。
怎麼判斷引數被最佳化過頭了
引數敏感性檢查
把最優引數上下各挪一點(比如 ±20%),看結果變化多大。
如果最優引數是個孤峰,稍微一動就崩,那是擬合噪音。
真實的規律應該是一片平原:附近的引數結果都還行, 只是沒那麼亮眼。
樣本外檢驗
用一段資料最佳化引數,在另一段完全沒參與最佳化的資料上驗證。
加密的歷史短,這個切分會很吃緊, 但正因為吃緊才更要做。
引數個數上限
一個經驗做法是讓引數個數遠少於你有的獨立樣本數。
三個引數的策略比八個引數的策略更可能是真的, 哪怕後者回測更好看。
一個更根本的角度
引數最佳化在回答「哪組數字在過去表現最好」, 但你真正想知道的是「這個邏輯成不成立」。
所以更好的順序是:先說清楚這個策略為什麼應該有效 (它捕捉的是什麼行為、什麼結構), 然後用引數去表達那個邏輯,而不是反過來用引數去發現邏輯。
邏輯先行的策略,引數通常是拍出來的整數, 而且換個附近的值也一樣能用。這不是巧合,是邏輯成立的表現。
動手做
用元件按你實際試過的引數量算一遍假陽性機率。
然後做敏感性檢查:把最優引數各挪 20%,看回測結果掉多少。
如果掉得很慘,你找到的不是規律,是這段歷史的噪音形狀。