樣本量與統計顯著性
這一節講什麼
一個真實勝率 50% 的系統,做二十筆交易,觀測到 65% 甚至 35% 都很正常。所以二十筆算出的勝率幾乎沒有資訊量,而多數人正是拿它下結論的。
學完能做到
直觀看到樣本量不足時觀測值能飄多遠,
以及知道要多少筆交易才夠下結論。
上一節 教了怎麼算期望值。這一節回答一個更基礎的問題:你算出來的那個數,可信嗎。
同一個系統,跑一千遍
下面的模擬做的是:假設你的系統真實勝率就是設定的那個值,讓它做 N 筆交易,重複一千次,看每次觀測到的勝率會落在哪裡。
把筆數設成 20 試試:一個真實勝率 50% 的系統,觀測勝率在 30% 到 70% 之間都屬於正常波動。
然後把筆數調到 200,你會看到分佈明顯收窄。樣本量就是這樣起作用的:它不改變真相,只是讓你離真相更近。
二十筆交易算出來的勝率,說明的主要是運氣。
要多少筆才夠
取決於你想分辨多大的差別。差別越小,需要的樣本越多:
| 你想確認的 | 大致需要的交易筆數 |
|---|---|
| 系統是不是明顯有效(勝率 50% vs 70%) | 數十筆 |
| 系統是不是略有優勢(勝率 50% vs 60%) | 一百多筆 |
| 系統是不是有微弱優勢(勝率 50% vs 55%) | 數百筆 |
| 兩套相似的方法哪個更好 | 上千筆 |
這是量級參考,不是精確的統計功效計算。但它足以說明一件事:你日常糾結的那些細微差別,靠你的交易紀錄是分辨不出來的。
比如「這個指標引數用 5 還是 10 更好」,要在實盤上分辨出來需要上千筆。而多數人做了三十筆就換引數了,那三十筆的結果幾乎完全是噪音。
這解釋了幾個常見現象
- 「這個方法最近很準」。最近十次的表現,樣本量遠遠不夠。熱手謬誤 講的就是這個。
- 頻繁換方法。做幾筆不順就換,換完又不順再換。每次都在用噪音做決策,而每次切換本身還有成本。
- 新手運。剛入市賺了幾筆就以為有天賦。達克曲線 那一節講過這個階段,樣本量視角下它就是抽樣波動。
- 把凱利公式直接套用。單筆風險那一節 說過凱利要打折使用,根本原因就在這裡:它的輸入引數是估計值,而估計值來自不足的樣本。
樣本量之外,還有三個陷阱
- 樣本要來自不同市場環境。一百筆全部發生在牛市裡,那驗證的是牛市裡的表現。至少要跨越一次明顯的環境切換。
- 不能中途改規則。做到第三十筆覺得不行就調引數,那前三十筆和後七十筆不是同一個系統,樣本不能合併。
- 不能只統計執行了的。那些「本來想做但沒做」的機會,如果你只記賺錢的那些,統計就被汙染了。
第二條最常見,也最難避免。解決辦法是把引數固定下來,寫在 交易計畫 裡,做滿預定筆數再評估。中途難受也不改。
一個現實的折中
要求上千筆才評估,對多數人不現實。所以給一個可操作的版本:
- 先做滿 30 筆。這個階段不評估收益,只檢查執行:規則有沒有被遵守、日誌有沒有記全。
- 做滿 100 筆再算期望值。這時候的數字仍然有很大誤差,但至少能看出方向性的問題(比如平均虧損遠大於平均盈利)。
- 用回測補充樣本。歷史資料能提供更多樣本,但有它自己的坑,見 過擬合 和 倖存者偏差。
做
動手做
把上面的模擬器真實勝率設成 50%、筆數設成 20,看一眼 5 分位和 95 分位。
然後想一想:你上次換掉某個方法的時候,做了多少筆?
如果少於 30 筆,那個決定的依據基本是噪音。
要點:真實勝率 50% 的系統做二十筆,觀測到 30% 到 70% 都正常。
想分辨細微差別需要上千筆,而你日常糾結的那些引數差異根本分辨不出來。
現實做法:30 筆只查執行,100 筆再算期望值,中途絕不改規則。