17.07常被誤讀的文藝復興:數學家賺錢,不代表你拿指標回測也行

你拿幾條均線在過去五年的日線上回測,試了二十來組引數,最好的一組五年賺了一倍多,回撤不到兩成。你打算怎麼用它?寫一句。
「數學家靠模型賺了錢」,推不出「我拿指標回測也行」。按公開材料,文藝復興有幾樣東西是個人回測沒有的:大量而乾淨的資料,上千萬筆的樣本和事先定好的檢驗門檻,把成本和下單衝擊算進去的執行,裝不下就不收的規模上限。個人回測最常犯的錯,是試了很多條、只留最好的一條。試得夠多,拋硬幣的規則也能回測出很漂亮的曲線。
小白理解:回測之前先在本子上記:我試了幾條。試完,把「最好的那條」當成運氣最好的那條來看,拿一段沒看過的資料再考它一次。
同樣叫「回測」,兩邊不是一回事
把第 17.05 節分過檔的材料擺在一起,和一個人拿指標做的回測並排看:
| 文藝復興(按公開材料) | 一個人的指標回測 | |
|---|---|---|
| 資料 | 多年攢下、專門清洗過的大量資料(據傳記) | 一個品種,幾年日線 |
| 樣本 | 一年約三千萬筆(聽證記錄) | 幾十到幾百筆 |
| 檢驗 | 一群做統計的人,按事先定的門檻淘汰訊號(據傳記) | 自己試,自己挑,自己信 |
| 成本 | 有人專門算成本和下單對價格的衝擊(據傳記) | 常常沒扣,或者按最樂觀的扣 |
| 規模 | 裝不下就不收,1993 年起不收外面的新錢(據傳記) | 沒想過 |
它自己也不是一上來就行。西蒙斯 1978 年開始做交易,頭十年靠人的判斷加早期的模型,時好時壞;1988 年大獎章成立以後,還換過一次做法。這些出自傳記,外部無法核實細節,但沒有哪份材料說它是「回測出來一條曲線就開幹」的。
讀圖:左邊那個框是你在軟體裡看到的。右邊那個小框才是能放進規則卡的。這一節講第一道篩子,後面三道分別在第 09.08 節、第 04.09 節、上一節。
試得越多,最好的那條越可能只是運氣
假設你試的規則全都沒有用,結果純靠運氣,有好有壞,散成一個鐘形。試一條,你拿到的是隨便一個位置。試兩百條再挑最好的,你拿到的是鐘形最右邊的那個點。它看上去很厲害,可它只是兩百次抽籤裡手氣最好的一次。
讀圖:只要挑冠軍,拿到的就肯定是最右邊那個點。它厲不厲害,要和「試了這麼多條,最右邊本來就該有多遠」比。
把一條沒用的規則回測結果的典型晃動記作 1 份。按正態分佈的常用近似,試 N 條、挑最好的,冠軍平均落在:
- 試 10 條:約 1.5 份
- 試 20 條:約 1.9 份
- 試 50 條:約 2.2 份
- 試 200 條:約 2.7 份
- 試 1,000 條:約 3.2 份
一般把超過 2 份的結果叫「顯著」。試到 20 條,純運氣的冠軍就差不多夠到這條線了;試到 200 條,它穩穩地越過去。
所以一份回測先要問的是:這是從幾條裡挑出來的?
兩百條裡挑出來的冠軍
下面是一條規則在原油期貨上的回測淨值,2010 年初到 2014 年底,起點 100,每週最多換一次方向。五年從 100 到了 645,中間最深的回撤 19%。先不告訴你它是什麼規則,只告訴你一件事:它是從 200 條規則裡挑出來的最好的一條。你選:
按收盤到收盤複利,不扣成本,扣了只會更差。這是一次演示,不是買賣建議。
一份回測,什麼時候才算數
回測登記頁加兩格
- 一共試了幾條:每試一組引數、一個指標、一個品種,畫一道。別憑記憶,試一條畫一道。
- 冠軍孤不孤:把試過的結果從好到差排一排。冠軍比第二、第三名高出一大截,旁邊的引數都很差,記「孤」;前幾名差不多,引數挪一挪結果變化不大,記「不孤」。
月底翻一次研究本
- 這個月做過幾次回測,登記了「試了幾條」的有幾次。
- 上過模擬或實盤的規則,回測成績和之後的成績差多少。差得最多的那條,當初試了幾條?
- 拿去考過「沒看過的資料」的冠軍裡,還排在前一半的有幾條。這個比例就是你的回測有多少能信。
這幾種用法是錯的
沒有任何公開材料說它用的是看盤軟體裡那些指標。從聽證記錄的量級看,它做的是幾千個品種之間很短時間的統計關係,一天十萬筆以上。那和「金叉買、死叉賣」只是都用了電腦。
工具讓你試得更快。上面那張表往下續:試一萬條,純運氣的冠軍大約在 3.9 份之外。試得越快,越需要事先的門檻和沒看過的資料。文藝復興靠的是淘汰訊號的那套規矩。
有人花三個月調出一套引數,回測曲線一條斜線往上,年年賺。他沒留資料,也不記得試過多少組。上線第一個月就虧,他的結論是「市場變了」,回去又調了一輪。市場也許真變了。更可能的是,那條曲線從頭就是挑出來的。
考怎麼用,不考誰說的
1. 你試了 50 組引數,最好的一組回測很漂亮。它應該被當成:
2. 兩份回測:甲只試了 1 條規則,年化 12%;乙試了 500 條,最好的年化 30%。哪一份更值得往下檢驗?
3. 回測冠軍比第二名高出一大截,旁邊的引數成績都很差。這說明: