引數最佳化與過擬合
這一節講什麼
引數每多一個,搜尋空間是乘上去的。就算策略無效,也幾乎必然能搜出一組漂亮引數。
學完能做到
為什麼引數越多越容易過擬合、一個能算出來的假陽性機率,以及怎麼判斷引數被最佳化過頭了。
回測跑出來的策略,引數一改結果就變。 於是很自然地去找「最好的那組引數」。 這一節講為什麼這個動作本身就在製造問題。
這在美股上的兩個加重因素
一、長期上行讓基線本身就是正的
見 U4-5。 於是「跑出正收益」這個標準太容易達到, 你需要的對照不是零,是同期一直持有的結果。
二、可用的資料維度太多
財務指標、技術指標、市場結構資料, 組合起來的搜尋空間極大。
搜尋空間越大,搜出漂亮引數的機率越高, 而這跟策略本身有沒有效無關。
怎麼判斷引數被最佳化過頭了
引數敏感性檢查
把最優引數上下各挪一點(比如 ±20%),看結果變化多大。
如果最優引數是個孤峰,稍微一動就崩,那是擬合噪音。
真實的規律應該是一片平原: 附近的引數結果都還行,只是沒那麼亮眼。
樣本外檢驗
用一段資料最佳化引數, 在另一段完全沒參與最佳化的資料上驗證。
引數個數上限
讓引數個數遠少於你有的獨立樣本數。
三個引數的策略比八個引數的策略更可能是真的, 哪怕後者回測更好看。
一個更根本的角度
引數最佳化在回答「哪組數字在過去表現最好」, 但你真正想知道的是「這個邏輯成不成立」。
如果一個策略的有效性依賴於引數精確到某個值,那它多半沒有邏輯,只有數字。
所以更好的順序是: 先說清楚這個策略為什麼應該有效 (它捕捉的是什麼行為、什麼結構), 然後用引數去表達那個邏輯, 而不是反過來用引數去發現邏輯。
邏輯先行的策略,引數通常是拍出來的整數, 而且換個附近的值也一樣能用。 這不是巧合,是邏輯成立的表現。
做
動手做
用元件按你實際試過的引數量算一遍假陽性機率。
然後做敏感性檢查:把最優引數各挪 20%,看回測結果掉多少。
如果掉得很慘,你找到的不是規律,是這段歷史的噪音形狀。
要點:引數每多一個組合數是乘上去的,所以就算策略完全無效也幾乎必然能搜出漂亮引數。美股的兩個加重因素是長期上行讓基線本身為正、以及可用資料維度太多。判斷方法是敏感性檢查(最優引數應該是平原不是孤峰)、樣本外檢驗、引數個數上限。更根本的是順序:先說清邏輯再用參數列達它,而不是用引數去發現邏輯。