Skip to content

L02-18 成本治理:把账单管在预算内 ​

全局中心内容:成本问题不是「少调几次」,而是「按租户/场景可度量、可限额、可降级」。 全局讲解主线:账单失控场景 → 成本构成拆解 → 记账 → 限额 → 降级阶梯 → 治理动作。


P1 · 产出页 ​

中心内容:一个按租户记账 + 三级限额 + 自动降级的成本治理闭环。

  • 讲解技巧
    • 开场场景:月底账单超出预算 5 倍,但没人知道是谁用了、哪个功能用的。
    • 结论:没有计量的系统,成本一定失控。
  • 时长:20s

P2 · 成本构成拆解 ​

中心内容:Embedding 一次性、检索廉价、生成最贵、Rerank 最容易被忽略。

  • 页面内容:各环节单次成本与月成本的占比饼图

  • 讲解技巧

    • 给出「生成占 70%+」这个结论,让学员知道优化重点在哪。
    • 特别点出 Rerank:单次只花几分钱,但每次问答跑 50 次,累计起来很可观。
  • 时长:5min


P3 · 记账设计 ​

中心内容:每次调用都要记录租户、场景、模型、Token、耗时。

  • 页面内容:usage 记录表设计

  • 讲解技巧

    • 强调场景字段很重要:同样是生成,「问答」和「改写」的成本要能分开看,才能知道该优化谁。
    • 提醒用异步落库,别让记账拖慢主链路。
  • 时长:5min


P4 · 三级限额 ​

中心内容:全局 / 租户 / 用户,速率 + 总量双重限制。

  • 页面内容:限额配置结构与触发行为

  • 讲解技巧

    • 讲清为什么要三级:全局防击穿、租户防超支、用户防刷量。
    • 触发行为要分级:软限额告警,硬限额拒绝,别一上来就拒绝。
  • 时长:5min


P5 · 降级阶梯 ​

中心内容:预算吃紧时按预设顺序降级,而不是直接停服。

  • 页面内容:降级顺序(关语义缓存→减 topK→关 Rerank→换便宜模型→限流)

  • 讲解技巧

    • 这是本节最有价值的设计:给出明确的降级顺序,避免出事时临时拍脑袋。
    • 强调降级要可观测、可回滚,并且要在界面上告知用户「当前为降级模式」。
  • 时长:6min


P6 · 编码:计量与限流 ​

中心内容:Advisor 里统一计量,Redis 里做配额扣减。

  • 页面内容:UsageRecordingAdvisor;配额 Lua 脚本思路

  • 讲解技巧

    • 讲清为什么用 Advisor:一处织入,全链路生效,不用每个调用点都写。
    • 提醒:配额扣减要原子,用 Lua 脚本而不是先读后写。
  • 时长:7min


P7 · 治理动作清单 ​

中心内容:每周看报表、每月调预算、每季度复盘单位成本。

  • 讲解技巧
    • 给可落地的节奏建议,并强调单位成本(每次问答多少钱)比总成本更有意义。
  • 时长:4min

P8 · 避坑与小结 ​

中心内容:省成本不能靠牺牲准确率,要先量化再动手。

  • 讲解技巧
    • 引出下一节:怎么知道慢在哪、错在哪——02-19 可观测。
  • 时长:2min

讲师备忘 ​

项内容
课前必做准备成本占比饼图;准备真实单价表(可标注为示例值)
最容易超时处P5 降级阶梯,容易被追问细节——给顺序表即可
学员最常问「本地模型怎么算成本?」答:按 GPU 时租折算,别当成零成本
现场备用无 Redis → 用本地计数器演示限额逻辑