回测最漂亮的参数,可能只是最会解释过去

回测挑出的最优参数,只说明它很会解释已经看过的数据。小白理解:留一段没参与调参的数据,再用附近参数复测,结果还能站住才值得继续看。
2它在说什么
场景:小林拿四年的历史数据测试均线突破,把 10、15、20、25、30 根都跑一遍。20 根的曲线最顺,样本内回撤只有 8%,小林立刻把它定成正式参数。后来把最后一年单独拿出来,回撤变成 18%,小林才发现自己早就看过全部数据。
参数越多,越容易从噪音里挑出一条好看的线。它可以把过去的每个拐点解释得很漂亮,却未必能面对下一段行情。回测的关键不在于找到最闪亮的数字,而在于把没看过的数据留到最后。
测试时还要看附近参数。如果 20 根有效,19 根和 21 根也应至少保留基本形状;只有一个尖峰,通常说明模型对历史细节太敏感。
3为什么成立
小林把前 3 年标成样本内,最后 1 年封存为样本外。调参只能看前 3 年,参数锁定后才打开最后 1 年。样本外回撤 18% 并不自动判定方法失效,却提醒小林,样本内的 8% 不能直接当作未来承诺。
封存区要像真正的考试卷,不能看一题改一题。若样本外结果不好,应该记录为一次检验,再回到研究区提出新假设,不能把最后一年重新塞回调参区直到曲线变好。
稳健性可以从三个角度看:参数附近的表现、市场状态的分组、成本和滑点的压力测试。每项都只回答一个问题,别为了得分好看再不断加筛选条件。
小林还把 20 根附近的 19 根、21 根各跑一次,观察曲线是否仍有相近的回撤和交易节奏。若只有 20 根出现低谷,附近参数一换就失去形状,这个低谷更像历史巧合。
先看没见过的数据
测试区别偷看回测记录要写清数据截止日、参数候选、剔除理由、费用口径和样本外开封时间。没有这些字段,下一次复盘很容易把已经看过的资料假装成新证据。
讲系统测试的书里常提稳健性,可以转成自己的检查动作:先留出测试区,再锁参数,最后才看结果。书里的方法是提醒,真正的证据仍要来自你自己的数据和执行记录。
4落成一条规则
把数据分区写在回测表最上方,开跑前就锁住:
5什么时候不灵
- 样本外只有很少交易时,结论会很抖,先把它当风险提示,不要急着宣布成功或失败。
- 市场制度、流动性和成本改变后,旧测试不能覆盖新环境,必要时要重新定义分区和成交假设。
- 参数附近都不好看,可能是模型本身没有边际优势,也可能是规则描述不完整,需回到可复现条件重新检查。
6对应技能和课节
想把这条练成习惯,按下面的技能和课节学。点技能名回学习地图看它的前后位置。
- 量化入门:数据、回测与过拟合
自己写出一个从信号到净值曲线的回测,分开样本内外,知道过拟合长什么样。
- 样本外与走步验证
把调参和最终检验用的数据分开,不反复偷看检验集。
- 回测一个规则
把一个模型写成可复现的规则,用历史数据手工回测,算进费用、滑点和成交不了的情况。
30 秒自测
小林发现样本内回撤 8%,样本外回撤 18%,下一步最合适的动作是什么?
看答案与解析
答案:C。样本外结果先作为检验记录,附近参数和成本检查能帮助判断是否过度贴合历史。A、B 会污染测试区,D 把不确定性放大。
同一主题的其他篇
- 08少做,只做看得懂的
- 09一套打法做到熟
- 10按过程打分,不按单笔盈亏
- 17胜率派还是盈亏比派
- 18盘感还是机械系统
- 19短线还是长线
- 30读完一本交易书,下一笔到底改哪个动作
- 40海龟:规则要覆盖整笔交易
- 43塞柯塔:系统若不合生活,迟早会被你改坏
- 45拉施克:短线能重复,才有资格谈优势
- 47巴菲特:看不懂的机会,可以让它过去
- 52学了很多招,为什么一笔交易还是说不清楚
- 55记录一百张图,不如把同一种错误查清楚
- 60五分钟内结束的交易,赚的不是手快,是亏得小
- 76模拟盘赚钱,换到实盘为什么就手抖
- 82做了三年还没稳定,要不要继续
- 83复盘表里没有手续费,利润只是幻觉
- 88AI 能帮你整理复盘,不能替你承担亏损
- 91盯盘八小时,不会多出一个好信号
- 100只看最近一周,永远会觉得自己找到规律
- 104“这次不一样”要靠记录,不靠语气
- 105复盘时给亏损找好听的理由,等于白复盘
- 106交易日志少记观点,多记当时能验证的事实
- 107系统连亏,多半该查的是你有没有照做
- 108系统要有版本号,改一条就留一条记录
- 110上班族不用盯盘,也能把交易做成流程
- 115交易员的休息日,也属于交易系统
- 116全职以后反而做得更频繁,说明压力变大了
- 122刷推越多,越容易把别人的紧急变成自己的订单
- 136加密永续全天开盘,人的作息不会全天在线
- 143自动交易上线,从最小仓位跑起
- 148达利欧:每犯一次错,就多写一条原则
- 151罗杰斯:等钱躺在墙角,再走过去捡
- 153斯蒂恩巴格:复盘也要找你做对的那几笔
- 157账户涨跌,不该决定你今天是个什么人
- 158交易第一年,最该攒的是样本
- 159没人能替你按那个按钮
- 160找个交易搭子,互相盯规则别盯方向
- 163牛市里人人是高手,熊市才看得出谁有规则
- 164指标都是慢半拍的,那还要不要看