L04-08 效能度量：怎么证明 AI 真的提效了

全局中心内容：度量要「先测基线再测改进」，没有 before 数据就没有结论。 全局讲解主线：说服困境 → 度量维度 → 三个陷阱 → PoC 设计 → 采纳率 → 汇报 → 全篇收尾。

P1 · 产出页

中心内容：一组有基线对照的效能指标 + 一份 PoC 方案模板。

讲解技巧
- 开场困境：「大家觉得挺好用」——这不是证据，不能写进汇报。
时长：20s

P2 · 度量维度

中心内容：使用率 / 耗时变化 / 质量变化 / 覆盖率。

页面内容：四维定义与采集方式
讲解技巧
- 强调使用率是前提：没人用的工具提效为零。
- 提醒质量不能只看速度，返工率才是关键。
时长：5min

P3 · 三个陷阱

中心内容：无基线 / 幸存者偏差 / 把「用得多」当「有效」。

讲解技巧
- 逐个讲：只统计了还在用的人（幸存者偏差）是最常见的自欺。
- 强调使用时长增加也可能是负面信号（说明更难用了）。
时长：5min

P4 · PoC 设计

中心内容：选一小群人、定周期、定基线、定指标。

页面内容：PoC 方案模板
讲解技巧
- 给出可套用模板：20 人 / 4 周 / 对照组 / 三个指标。
- 强调要有对照组，否则无法排除其他因素。
时长：6min

P5 · 采纳率

中心内容：AI 建议被实际采用的比例，是最硬的指标。

讲解技巧
- 强调采纳率比满意度真实：人说好用可能只是客气，采纳是真金白银。
- 呼应 03-15 代码审查的采纳率。
时长：4min

P6 · 定性补充

中心内容：访谈能解释数字背后的原因。

讲解技巧
- 提醒访谈要问「哪次让你想关掉它」，负面反馈价值更高。
时长：4min

P7 · 汇报方式

中心内容：一页纸，含基线、现状、结论、下一步。

讲解技巧
- 强调要敢于报告负面结果， credibility 比好看的数字重要。
时长：4min

P8 · 全篇收尾

中心内容：四篇的主线回顾——会调用 → 会检索 → 会行动 → 会运营。

讲解技巧
- 用四句话总结：01 把模型接进来，02 让它有据可依，03 让它安全行动，04 让它可持续运营。
- 给出学员的下一步建议：挑一个真实场景，跑完闭环。
时长：3min

讲师备忘

项	内容
课前必做	准备 PoC 模板；准备四维指标表
最容易超时处	P3 三个陷阱，容易被追问统计细节
学员最常问	「指标不显著怎么办？」答：延长周期或扩大样本，别改指标定义
现场备用	用示例 PoC 数据演示计算