第 8 课 · 30 条旧数据盲测画放行线与双轨制落地

🎯 学完这一课，你将能够

• 掌握用 30 条真实历史业务数据进行系统性盲测的方法
• 画出真正属于你自己业务的安全“自动放行线”
• 掌握“双轨制并行（Double-Track）”稳妥上线策略
• 熟悉上线前必须逐项核对的 11 项硬门禁 Checklist

30 条真实旧数据盲测法：你的真正作品

跑通 Playground 和二十行代码，只是拿到了入门门票。真正决定你能否在企业和生产中落地的，是那份 30 条真实业务盲测表。

准备一个简单的四列表格：

⚠️ 关键注意：必须使用真实的旧业务数据，切忌自己现编。现编的数据语法过于规整、用词太干净，测出来的准确率全都是“虚假繁荣”。

盲测结果：先切两刀

跑完 30 条真实数据后，不要只看一个总准确率，按以下步骤切两刀：

1. 第一刀：看 Confidence > 0.85 的那些行

• 如果 15 条高把握样本中，人工标注与模型判定完全一致（0 错），说明 0.85 可以作为自动放行线的初步候选；
• 如果 15 条里错了 3 条，说明 0.85 设得太松，必须把放行阈值拉高到 0.92 或 0.95 重新观察。

1. 第二刀：看 Confidence < 0.60 的那些行

• 如果低把握样本中模型判断对错各半，这是完全健康的现象。这说明模型在坦率地告诉你：“这些材料信息量不足或选项模糊，我拿不准”，系统正应该将这部分样本稳妥转交人工。

1. 特别观察：中文黑话行

• 内部特有名词（如“金牌特快包”、“V4小助手”）最容易让模型偏航。解决办法是：把这些黑话的解释直接补充进 criteria 的描述里。它不读你公司的内网 Wiki，除非你把它写进这次的试卷中。

铁律：连 30 条旧数据都对不齐，绝对不要接到生产正式分流中。

怎么嵌进现有业务：双轨制并行一周

不要试图在周一早上推倒现有系统、直接新立一个“Jev 判定中台”。最稳健的工程落地姿势是双轨制（Double-Track）：

               +---------------------------------------+
               |              进来的新工单              |
               +---------------------------------------+
                                   |
                  +----------------+----------------+
                  |                                 |
                  v                                 v
        [ 原有的老规则 / if / 人工 ]           [ Jev 判定模型 (旁路运行) ]
                  |                                 |
                  v                                 v
          真实驱动线上业务流转                只在数据库记日志，不影响线上
                  |                                 |
                  +----------------+----------------+
                                   |
                                   v
                      对比一周：两者在哪些样本上打架？
                      打架之处就是修改试卷 Criteria 的方向！

1. 第一周（静默旁路）：旧业务规则照常运行，Jev 在后台旁路异步判定并写入审计日志，不改变实际业务走向；
2. 复盘对比：一周后导出日志，只排查两套系统结论不一致的样本。这些分歧点才是优化试卷 Criteria 边界的真正黄金线索；
3. 第二周（放行高把握）：仅将 confidence > 0.92 且与旧规则结论完全一致的流量交由自动化执行，其余全部继续走原流程。

上线前勾选清单（11 项生产硬门禁）

在正式向全量用户开放自动化分流之前，请逐条核对以下 11 项：

• [ ] 1. 选项互斥：Choice 选项界限分明，找一个完全不懂技术的同事看也能选出正确项；
• [ ] 2. 材料纯净：State 只传入当前系统真实发生的事实字段；
• [ ] 3. 盲测过关：30 条以上真实历史样本已跑通盲测，高把握区间错误率在容忍范围内；
• [ ] 4. 低把握去处：置信度不足时有兜底流程（进大模型复核或转人工客服）；
• [ ] 5. 高危拦截：退款打款、删库注销、对外发消息依然保留强制的人工确认闸门；
• [ ] 6. 安全存储：API Key 仅存放于服务器安全环境变量中，绝不暴露给客户端或提交进代码库；
• [ ] 7. 版本写死：生产环境调用明确写死模型版本号（如 jev-latest 或固定语义版本），并做好版本日志记录；
• [ ] 8. 日志落库：系统完整记录了每次判定所用的 Question 版本号、State 内容、返回答案以及最终执行的业务操作；
• [ ] 9. 中文复测：核心中文样本的行业黑话已在 Criteria 中写明定义；
• [ ] 10. 账单告警：在后台设置了用量与费用阈值告警，有专人监控；
• [ ] 11. 一键降级开关：具备能够在 5 秒内一键关闭自动化执行、安全回退到纯人工模式的应急开关。

前六项有任何一项未通过，严禁将代码推向生产环境！

📌 一句话带走

门票不是作品；你的真正作品，是那份 30 条实测表和你在上面敢签字的放行线。