Skip to content

L03-17 Agent 可观测:一眼看出它在干什么、花了多少 ​

全局中心内容:Agent 的黑盒感是推广最大阻力,可观测是把黑盒变透明的唯一手段。 全局讲解主线:黑盒困境 → 三层视角 → 轨迹视图 → 运行面板 → 成本视图 → 告警 → 编码。


P1 · 产出页 ​

中心内容:运行列表 + 单条轨迹 + 成本视图 三块面板。

  • 讲解技巧
    • 开场提问:「Agent 现在在干嘛?」——如果答不上来,团队就不敢放权。
  • 时长:20s

P2 · 三层视角 ​

中心内容:整体指标 / 单次轨迹 / 工具明细。

  • 讲解技巧
    • 讲清用途分工:指标看趋势、轨迹看个案、明细看瓶颈。
  • 时长:4min

P3 · 轨迹视图 ​

中心内容:按轮次展示 Thought / Action / Observation,带耗时。

  • 页面内容:轨迹界面字段

  • 讲解技巧

    • 强调这是排查 bad case 的主战场:能直接看到模型在哪一轮想错了。
    • 提醒要支持「从这一轮重跑」,极大提升调试效率。
  • 时长:6min


P4 · 运行面板 ​

中心内容:任务列表显示状态、轮次、耗时、成本、是否需审批。

  • 讲解技巧
    • 强调**「是否卡住」要能一眼看到**:运行超过 N 分钟的任务高亮。
  • 时长:5min

P5 · 成本视图 ​

中心内容:按任务/用户/工具维度看成本。

  • 讲解技巧
    • 强调按轮次展示成本曲线,能看到「成本在哪一轮开始失控」。
    • 提醒要给单任务的成本上限提示。
  • 时长:5min

P6 · 工具维度分析 ​

中心内容:哪个工具最慢、失败率最高、被调最多。

  • 讲解技巧
    • 讲价值:工具排名往往能直接指出设计问题(某个工具总被误调,说明描述写得不好)。
  • 时长:4min

P7 · 告警 ​

中心内容:循环告警、成本告警、失败率告警。

  • 讲解技巧
    • 强调循环告警最重要:死循环是唯一能在几小时内烧掉大量钱的问题。
  • 时长:4min

P8 · 编码:埋点与小结 ​

中心内容:在 Harness 里统一埋点,业务无感知。

  • 讲解技巧
    • 引出下一节:有了数据,怎么证明它变好了——03-18 Agent 评测。
  • 时长:4min

讲师备忘 ​

项内容
课前必做准备轨迹面板截图或草图;准备一条真实轨迹
最容易超时处P3 轨迹视图,容易被追问字段设计
学员最常问「轨迹存多久?」答:热数据 7 天,冷数据按需抽样归档
现场备用无 Grafana → 展示结构化日志