17.07常被误读的文艺复兴:数学家赚钱,不代表你拿指标回测也行

你拿几条均线在过去五年的日线上回测,试了二十来组参数,最好的一组五年赚了一倍多,回撤不到两成。你打算怎么用它?写一句。
「数学家靠模型赚了钱」,推不出「我拿指标回测也行」。按公开材料,文艺复兴有几样东西是个人回测没有的:大量而干净的数据,上千万笔的样本和事先定好的检验门槛,把成本和下单冲击算进去的执行,装不下就不收的规模上限。个人回测最常犯的错,是试了很多条、只留最好的一条。试得够多,抛硬币的规则也能回测出很漂亮的曲线。
小白理解:回测之前先在本子上记:我试了几条。试完,把「最好的那条」当成运气最好的那条来看,拿一段没看过的数据再考它一次。
同样叫「回测」,两边不是一回事
把第 17.05 节分过档的材料摆在一起,和一个人拿指标做的回测并排看:
| 文艺复兴(按公开材料) | 一个人的指标回测 | |
|---|---|---|
| 数据 | 多年攒下、专门清洗过的大量数据(据传记) | 一个品种,几年日线 |
| 样本 | 一年约三千万笔(听证记录) | 几十到几百笔 |
| 检验 | 一群做统计的人,按事先定的门槛淘汰信号(据传记) | 自己试,自己挑,自己信 |
| 成本 | 有人专门算成本和下单对价格的冲击(据传记) | 常常没扣,或者按最乐观的扣 |
| 规模 | 装不下就不收,1993 年起不收外面的新钱(据传记) | 没想过 |
它自己也不是一上来就行。西蒙斯 1978 年开始做交易,头十年靠人的判断加早期的模型,时好时坏;1988 年大奖章成立以后,还换过一次做法。这些出自传记,外部无法核实细节,但没有哪份材料说它是「回测出来一条曲线就开干」的。
读图:左边那个框是你在软件里看到的。右边那个小框才是能放进规则卡的。这一节讲第一道筛子,后面三道分别在第 09.08 节、第 04.09 节、上一节。
试得越多,最好的那条越可能只是运气
假设你试的规则全都没有用,结果纯靠运气,有好有坏,散成一个钟形。试一条,你拿到的是随便一个位置。试两百条再挑最好的,你拿到的是钟形最右边的那个点。它看上去很厉害,可它只是两百次抽签里手气最好的一次。
读图:只要挑冠军,拿到的就肯定是最右边那个点。它厉不厉害,要和「试了这么多条,最右边本来就该有多远」比。
把一条没用的规则回测结果的典型晃动记作 1 份。按正态分布的常用近似,试 N 条、挑最好的,冠军平均落在:
- 试 10 条:约 1.5 份
- 试 20 条:约 1.9 份
- 试 50 条:约 2.2 份
- 试 200 条:约 2.7 份
- 试 1,000 条:约 3.2 份
一般把超过 2 份的结果叫「显著」。试到 20 条,纯运气的冠军就差不多够到这条线了;试到 200 条,它稳稳地越过去。
所以一份回测先要问的是:这是从几条里挑出来的?
两百条里挑出来的冠军
下面是一条规则在原油期货上的回测净值,2010 年初到 2014 年底,起点 100,每周最多换一次方向。五年从 100 到了 645,中间最深的回撤 19%。先不告诉你它是什么规则,只告诉你一件事:它是从 200 条规则里挑出来的最好的一条。你选:
按收盘到收盘复利,不扣成本,扣了只会更差。这是一次演示,不是买卖建议。
一份回测,什么时候才算数
回测登记页加两格
- 一共试了几条:每试一组参数、一个指标、一个品种,画一道。别凭记忆,试一条画一道。
- 冠军孤不孤:把试过的结果从好到差排一排。冠军比第二、第三名高出一大截,旁边的参数都很差,记「孤」;前几名差不多,参数挪一挪结果变化不大,记「不孤」。
月底翻一次研究本
- 这个月做过几次回测,登记了「试了几条」的有几次。
- 上过模拟或实盘的规则,回测成绩和之后的成绩差多少。差得最多的那条,当初试了几条?
- 拿去考过「没看过的数据」的冠军里,还排在前一半的有几条。这个比例就是你的回测有多少能信。
这几种用法是错的
没有任何公开材料说它用的是看盘软件里那些指标。从听证记录的量级看,它做的是几千个品种之间很短时间的统计关系,一天十万笔以上。那和「金叉买、死叉卖」只是都用了电脑。
工具让你试得更快。上面那张表往下续:试一万条,纯运气的冠军大约在 3.9 份之外。试得越快,越需要事先的门槛和没看过的数据。文艺复兴靠的是淘汰信号的那套规矩。
有人花三个月调出一套参数,回测曲线一条斜线往上,年年赚。他没留数据,也不记得试过多少组。上线第一个月就亏,他的结论是「市场变了」,回去又调了一轮。市场也许真变了。更可能的是,那条曲线从头就是挑出来的。
考怎么用,不考谁说的
1. 你试了 50 组参数,最好的一组回测很漂亮。它应该被当成:
2. 两份回测:甲只试了 1 条规则,年化 12%;乙试了 500 条,最好的年化 30%。哪一份更值得往下检验?
3. 回测冠军比第二名高出一大截,旁边的参数成绩都很差。这说明: