樣本外檢驗
也叫:樣本外
定義
用完全沒有參與規則設計的資料來檢驗規則。
做法:把資料分成兩段,只用第一段設計和調參,第二段一次性檢驗, 而且檢驗完不許回頭改引數。
最後那句限制是關鍵:如果你看了樣本外的結果不滿意,回去調參再測一次, 那樣本外就變成樣本內了。這是實踐中最常見的自欺方式。
更嚴格的做法是滾動前推檢驗(walk-forward): 用一段資料調參、在緊接著的一段上檢驗,然後視窗整體前移,重複多次。
也叫:樣本外
定義
用完全沒有參與規則設計的資料來檢驗規則。
做法:把資料分成兩段,只用第一段設計和調參,第二段一次性檢驗, 而且檢驗完不許回頭改引數。
最後那句限制是關鍵:如果你看了樣本外的結果不滿意,回去調參再測一次, 那樣本外就變成樣本內了。這是實踐中最常見的自欺方式。
更嚴格的做法是滾動前推檢驗(walk-forward): 用一段資料調參、在緊接著的一段上檢驗,然後視窗整體前移,重複多次。