Appearance
L02-18 成本治理:把账单管在预算内
全局中心内容:成本问题不是「少调几次」,而是「按租户/场景可度量、可限额、可降级」。 全局讲解主线:账单失控场景 → 成本构成拆解 → 记账 → 限额 → 降级阶梯 → 治理动作。
P1 · 产出页
中心内容:一个按租户记账 + 三级限额 + 自动降级的成本治理闭环。
- 讲解技巧
- 开场场景:月底账单超出预算 5 倍,但没人知道是谁用了、哪个功能用的。
- 结论:没有计量的系统,成本一定失控。
- 时长:20s
P2 · 成本构成拆解
中心内容:Embedding 一次性、检索廉价、生成最贵、Rerank 最容易被忽略。
页面内容:各环节单次成本与月成本的占比饼图
讲解技巧
- 给出「生成占 70%+」这个结论,让学员知道优化重点在哪。
- 特别点出 Rerank:单次只花几分钱,但每次问答跑 50 次,累计起来很可观。
时长:5min
P3 · 记账设计
中心内容:每次调用都要记录租户、场景、模型、Token、耗时。
页面内容:usage 记录表设计
讲解技巧
- 强调场景字段很重要:同样是生成,「问答」和「改写」的成本要能分开看,才能知道该优化谁。
- 提醒用异步落库,别让记账拖慢主链路。
时长:5min
P4 · 三级限额
中心内容:全局 / 租户 / 用户,速率 + 总量双重限制。
页面内容:限额配置结构与触发行为
讲解技巧
- 讲清为什么要三级:全局防击穿、租户防超支、用户防刷量。
- 触发行为要分级:软限额告警,硬限额拒绝,别一上来就拒绝。
时长:5min
P5 · 降级阶梯
中心内容:预算吃紧时按预设顺序降级,而不是直接停服。
页面内容:降级顺序(关语义缓存→减 topK→关 Rerank→换便宜模型→限流)
讲解技巧
- 这是本节最有价值的设计:给出明确的降级顺序,避免出事时临时拍脑袋。
- 强调降级要可观测、可回滚,并且要在界面上告知用户「当前为降级模式」。
时长:6min
P6 · 编码:计量与限流
中心内容:Advisor 里统一计量,Redis 里做配额扣减。
页面内容:UsageRecordingAdvisor;配额 Lua 脚本思路
讲解技巧
- 讲清为什么用 Advisor:一处织入,全链路生效,不用每个调用点都写。
- 提醒:配额扣减要原子,用 Lua 脚本而不是先读后写。
时长:7min
P7 · 治理动作清单
中心内容:每周看报表、每月调预算、每季度复盘单位成本。
- 讲解技巧
- 给可落地的节奏建议,并强调单位成本(每次问答多少钱)比总成本更有意义。
- 时长:4min
P8 · 避坑与小结
中心内容:省成本不能靠牺牲准确率,要先量化再动手。
- 讲解技巧
- 引出下一节:怎么知道慢在哪、错在哪——02-19 可观测。
- 时长:2min
讲师备忘
| 项 | 内容 |
|---|---|
| 课前必做 | 准备成本占比饼图;准备真实单价表(可标注为示例值) |
| 最容易超时处 | P5 降级阶梯,容易被追问细节——给顺序表即可 |
| 学员最常问 | 「本地模型怎么算成本?」答:按 GPU 时租折算,别当成零成本 |
| 现场备用 | 无 Redis → 用本地计数器演示限额逻辑 |