手工回測的抽樣和標註規範
先決定要看哪些樣本，再開啟未來結果。
Snow 講解 · 約 30 秒
先定抽哪幾個，再揭開結果
先猜一下：想用手工翻圖估計一個形態的勝率。下面哪種做法最靠譜？
- 規則先挑出20個候選。名單在看任何結果之前就凍結。
- 按固定間隔，每4個抽1個，抽到1、5、9、13、17號。
- 把未來遮住，甲乙兩人照同一版規則，各自獨立判斷。
- 13號兩人不一致。兩份原判斷都留著，按規則原文裁決。
- 揭開結果：抽到的5個裡贏了2個，勝率四成。
- 要是看完20個結果，再挑5張最漂亮的，勝率就成了百分之百，這是假的。
第 1 / 6 步
要點
手工回測的樣本由事先定好的名單和抽法決定，不由結果決定；判斷時遮住未來，分歧和失敗都留在表裡。
搞混了會怎樣：挑出來的截圖個個漂亮，勝率看著很高，真按規則去做才發現一大半是虧的。
照著做
- 名單先凍結先寫候選範圍和抽樣規則（固定間隔或固定隨機種子），再開啟結果。
- 遮住未來獨立判斷兩人用同一可見截止和同一版規則各自標註，不互相看。
- 分歧留痕再裁決原判斷不覆蓋；按規則原文和當時可見的資料裁決，改定義就另開版本。
XRP：同一批事件，挑法不同，勝率差了一大截
XRP/USDT 日線 · 2022～2023 · 兩年全部事件，一次列全
全部勝率 35.7%，事後挑的 10 個勝率 100%
被結果挑出來的樣本，說明不了規則。
1全部算下來呢？
43 個事件，最後 1 個標籤未完成不計；其餘 42 個賺錢 15 個，勝率 35.7%，平均 −1.51%。
2抽一部分行嗎？
名單凍結後每第 5 個取 1 個，抽到 9 個：勝率 44.4%，平均 +3.16%。和全部有差距是抽樣誤差，不能看著不順眼就換一批。
3挑典型錯在哪？
看完結果挑最賺錢的 10 個做截圖：勝率 100%，平均 +11.55%。它們是被結果選出來的，只說明挑法，不說明規則。
遇到了怎麼做
- 先用規則把候選一次列全，寫下抽樣方法（例如每第 5 個），存檔後再看結果。
- 標註時遮住事件之後的行情，只按當時可見的資料和規則版本判斷。
- 交付時附上完整名單、抽樣清單和排除日誌，失敗與不可判定都留著。
資料口徑現貨日線 · 收盤上穿 20 日均線為事件 · 次日開盤買、持有 5 天 · 買賣各扣 0.10%
事件：XRP 收盤從下方站上 20 日均線；標籤：次日開盤買、持有 5 天、扣買賣各 0.10% 的淨收益。日線看不到盤中先後和盤口，入場按開盤價、退出按收盤價，沒算滑價。全部事件都列出來了，不是挑出的片段。行情為公開日線資料；事件與標籤定義、手續費為教學假設。數字只說明抽樣方法的影響，不代表這個規則的勝率會重複。
自測：換一組數字再算一遍
1. 候選有 30 個，名單凍結後每 6 個抽 1 個，會抽到幾個？
2. 同一個樣本，甲判「成立」、乙判「不成立」。按哪個算？
本節完整講解概念圖解 · 實戰步驟 · 三種處理 · 真實行情演示 · 換條件復盤 · 行動卡 · 進階
01先定抽哪幾個，再揭開結果
手工回放很容易只記住圖形漂亮、結果明顯的交易。先列完整候選範圍和抽樣規則，例如每第 5 個合格事件或固定隨機種子分層抽樣，再把未來區域遮住，按當時資訊填寫判斷。
留意兩種抽法抽的都是 5 個，差別只在「什麼時候看結果」。
教學示意 · 取自快速版按間隔抽：名單在看任何結果之前凍結，每 4 個抽 1 個。抽到誰，和它後來賺沒賺無關。
事後挑：先看完 20 個結果，再挑 5 張「最典型」的。挑的理由裡已經帶著結果，勝率 100% 說明不了規則。
結論手工回測的樣本由事先定好的名單和抽法決定，不由結果決定。名單和抽法先存檔，再開啟結果。
不得看到後續不理想，就把樣本改成「其實不符合」。未成交、錯過和失敗都屬於樣本；完整抽樣清單和排除原因應隨結果交付。
留意不合規的三條有一個共同點：結果先出現，判斷後出現。
1先用規則把候選一次列全，寫下「每第 5 個抽 1 個」，存檔後再看結果。
判斷對了。再想想：這條合規。名單和抽法都在看結果之前固定了。
2翻歷史圖，挑 10 張最典型的來數勝率。
判斷對了。再想想：這條不合規。「典型」是看過結果才挑出來的，勝率會被高估。
3抽到的樣本後來虧得很慘，重看一遍圖，改判成「其實不符合規則」。
判斷對了。再想想：這條不合規。不得看到後續不理想就把樣本改成不符合。要改規則就另開版本，舊判斷不刪。
4標註時把事件之後的行情遮住，只看當時能看到的部分。
判斷對了。再想想：這條合規。遮住未來，判斷才只用當時的資訊。
5兩個人意見不一致，按後來賺錢的那一方算。
判斷對了。再想想：這條不合規。收益不能替模糊規則投票。按規則原文和當時可見的資料裁決。
6一個樣本資料缺了一天，判不了，記「不可判定」留在表裡，寫明原因。
判斷對了。再想想：這條合規。不可判定也是樣本，連同原因留在排除日誌裡。
已判斷 0 / 6 條，判斷對 0 條。
結論先凍結名單和抽法，再遮住未來獨立判斷；失敗、分歧和不可判定都留在表裡。
從圖形直覺轉成規則、做少量人工研究或建立標註資料集時。
02實際做研究時，按什麼順序做：凍結抽樣名單、遮擋未來獨立判斷、保留分歧並裁決
- 凍結抽樣名單
樣本選擇不能依賴後續表現。
- 遮擋未來獨立判斷
記錄可見截止與規則版本。
- 保留分歧並裁決
更改定義後另開版本，舊判斷不刪除。
第三步最容易走樣。下面是 5 個候選、兩位標註者的記錄。
留意E3 的分歧，最後改的是規則的寫法，而不是誰的判斷。
教學示意| 候選 | 甲 | 乙 | 處理 |
|---|---|---|---|
| E1 | 成立 | 成立 | —一致一致，照記 |
| E2 | 不成立 | 不成立 | —一致一致，照記 |
| E3 | 成立 | 不成立 | —定位含混：「收盤確認」指哪一根？按規則 v2 原文裁決，兩份原判斷保留 |
| E4 | 不明 | 不明 | —兩人都看不清：資料缺了一天記不可判定，寫進排除日誌 |
| E5 | 成立 | 成立 | —一致一致，照記 |
1 原始判斷：甲乙用同一個可見截止、同一版規則，各自獨立判斷，不互相看。5 個裡 E3 兩人不一致，E4 兩人都判「不明」。
2 定位含混：E3 的分歧不是誰眼力差，而是規則裡「收盤確認」沒寫清是哪一根收盤。E4 是資料本身缺了一截。分歧暴露的是規則語言的問題。
3 裁決留痕：兩份原判斷都不刪。把「收盤確認」寫清楚，記成規則 v2，按 v2 原文和當時可見的資料裁決 E3；E4 記不可判定，寫進排除日誌。裁決時不看後來誰賺了錢。
結論手工標註的價值是發現規則語言裡的含混，並不因為是人工就更接近真相。裁決表記下依據、版本和當時可見的資料。
從歷史截圖中挑十張最漂亮的例子來估計勝率。
03標註分歧的三種處理
04真實行情演示：PEPE 一整年的名單，5 個候選、兩位標註者的分歧怎樣處理
前面是教學示意。這裡用 PEPE 2025 年的真實日線，把四步完整走一遍：名單凍結、每 5 取 1、遮住未來兩人標註、最後揭開結果。
留意21 號是 5 個裡唯一賺錢的，兩個人卻都判它「不成立」。要不要回頭改判？
1 名單凍結：規則寫死：前一天收盤不高於 20 日均線、當天收盤站上。2025 年全年一次列全，共 22 個候選，按日期編號。這一步不看任何結果。
2 每 5 取 1：從 1 號起每 5 個取 1 個，抽到 1、6、11、16、21 號。抽法在看結果之前寫進存檔；抽到哪個，和它後來漲跌無關。
3 遮住未來，兩人標註：規則原文是「站上後次日確認」。甲讀成次日收盤仍在均線上方，乙讀成次日收盤高於站上那天。只看到確認日為止，6、16 號兩人不一致，照原判斷記下。
4 揭開結果：抽中的 5 個裡只有 21 號賺錢（+43.49%），而它恰好是兩人都判「不成立」的那一個；16 號分歧，−13.56%。全部 22 個裡賺錢的 7 個。樣本少，和全部有差距是正常的抽樣誤差，不能因為看著不順眼就換一批。
| 抽中的候選 | 甲：次日收盤仍在均線上 | 乙：次日收盤高於站上那天 | 5 天結果 |
|---|---|---|---|
| 1 號 · 1月2日 | 成立 | 成立 | 遮住−9.41% |
| 6 號 · 4月12日 | 成立 | 不成立 | 遮住−2.88% |
| 11 號 · 7月2日 | 成立 | 成立 | 遮住−1.79% |
| 16 號 · 8月22日 | 成立 | 不成立 | 遮住−13.56% |
| 21 號 · 12月28日 | 不成立 | 不成立 | 遮住+43.49% |
真實行情：PEPE/USDT 日線，現貨公開歷史資料（UTC）。挑出的片段，不代表機率，不承諾收益。2025 年全年日線，滿足規則的 22 個候選按日期全部列入名單（只進統計，不畫K線）；圖裡的 5 個小圖是按「每 5 取 1」抽中的樣本，各畫站上前 14 天到結果結束；結果 = 次日開盤買、持有 5 天收盤賣、買賣各扣 0.10%，為教學定義，未計滑價。PEPE 價格很小，小圖不標價位。
結論不改。判斷只看當時能看到的資料和規則原文。每 5 取 1 的 5 個，平均 +3.17%，和全部的 +0.41% 有差距，是 5 個樣本的抽樣誤差；看完結果挑的 5 個平均 +36.91%，那是被結果選出來的，說明不了規則。
05換一個條件，再檢查判斷：兩個標註者不一致，是不是應該取更賺錢的版本
把抽樣和標註放回三個時點：抽樣之後、標註分歧、交付。
留意三次選擇裡，錯的做法都在讓結果回頭改動樣本或判斷。
情景取自圖 5 的 PEPE 名單；評價只看當時的資訊，不看後來漲跌。
每 5 取 1 抽到 5 個，揭開後 4 個虧錢。全部 22 個裡其實有 7 個賺錢。
這批樣本要不要換？樣本少和全部有差距是正常的抽樣誤差，不能因為看著不順眼就換一批。
想要更穩的估計，就事先定好「每 3 取 1」或全量，再做一次，而不是挑。
漂亮截圖不是完整手工回測。
提示：抽法是在看結果之前定的。 選一支，三支的後果都會畫出來。
16 號甲判成立、乙判不成立。揭開後它虧了 13.56%。
按誰算？收益不能替模糊規則投票。21 號就是反例：乙的讀法也把唯一賺錢的那個判掉了。
更改定義後另開版本，舊判斷不刪除；v2 要對全部名單重判，不只改這一個。
剔除理由不由結果倒推；刪掉分歧，就錯過了修規則的機會。
提示：裁決依據是事前定義與當時可見的資料。 選一支，三支的後果都會畫出來。
你要把這次手工回測交給同事複核。
交哪些檔案？完整抽樣清單和排除原因應隨結果交付。
第 4 步要交付的內容，一樣不少。
沒有名單和抽法，別人沒法確認這 5 個不是挑出來的。
提示：失敗和不可判定也是樣本。 選一支，三支的後果都會畫出來。
你走過的路徑
評價依據是當時的資訊，不看事後漲跌。
結論名單和抽法不因結果改，分歧按規則原文裁，交付時把名單、判斷、裁決和排除日誌一起交。
兩個標註者不一致，是不是應該取更賺錢的版本？
不能，裁決依據是事前定義與當時可見證據；收益不能替模糊規則投票。
手工回測同時儲存抽樣清單和排除日誌。
06把本節方法留給實戰
照圖 1 先定名單和抽法，照圖 3 讓兩個人遮住未來獨立標註，照圖 5 按步驟揭開結果。下面四欄填完，就是一份別人能從頭重做的手工回測說明。
需要時再寫自己的行動卡（可選）
07再往深處想一步
展開：兩種讀法，誰更賺錢不能決定誰對
換個條件再問：兩個標註者不一致，是不是應該取更賺錢的版本？不能，裁決依據是事前定義與當時可見證據。把圖 5 的兩種讀法放到全部名單上各算一遍，更容易看清這個誘惑。
留意看完這張圖再選「乙的讀法」，就是用 22 個樣本的結果給規則投票。
真實行情：PEPE/USDT 日線，現貨公開歷史資料（UTC），滿足規則的 22 個候選全部都算、不挑。全部樣本照實統計，只說明這段歷史，不代表機率，不承諾收益。2025 年全年日線；兩種讀法與持有 5 天的結果都按事先寫死的定義逐一計算。
結論讀法要在看結果之前按規則的意圖定下來；如果看完結果才改，改後的版本需要另一段沒看過的資料重新驗證。
標註規則需要可操作的定義：什麼叫確認、哪根收盤算觸發、哪個時點失效。分歧多的地方，就是規則該改寫的地方；改寫以後另開版本，對全部名單重判，而且要在另一段沒看過的資料上檢驗，才談得上這版規則更好。
想再想一想？展開問題與筆記（可選）
翻出你收藏的某個形態的「經典案例」截圖：它們是怎麼來的？如果按固定間隔從全部候選裡重新抽一次，你估計勝率會變成多少？
筆記僅儲存在當前瀏覽器展開參考思路
先用文字把形態寫成能列候選的規則，在一段完整的歷史裡一次列全，事先寫好「每第 N 個抽 1 個」，遮住未來後再判斷。把重新抽樣得到的勝率和收藏截圖給你的印象並排寫下來，差距就是挑選帶來的偏差。