Appearance
04 篇导览:LLM 微服务架构与平台化
这一篇解决一个问题:从「一个能跑的应用」到「企业能长期用的一套平台」。
学完你能做什么
产出一份能向 CTO / 架构委员会汇报的材料:分阶段建设路线、服务拆分方案、模型网关设计、成本模型、合规要点,外加一个可运行的 PoC 子集(网关 + 一个 RAG/Agent 服务)。
前置要求
| 项 | 要求 |
|---|---|
| 已完成 | 01-03 篇的核心内容(尤其 02-12 多租户、03B 可靠性) |
| 受众 | 架构师、技术负责人、需要向管理层汇报的人 |
| 产出形式 | 架构文档 + ADR + PoC,不是完整实现 |
章节地图
| # | 章节 | 解决什么 | 交付物 |
|---|---|---|---|
| 01 | 建设路线图 | 分几期、每期做什么 | 演进路线图 + 立项材料 |
| 02 | 模型网关与路由降级 | 多厂商统一管理 | 网关设计 + PoC |
| 03 | 三级限流与配额 | 防止滥用与超支 | 配额模型 + 实现 |
| 04 | 服务拆分与租户隔离 | 边界怎么划 | 服务拆分图 + ADR |
| 05 | 私有化部署与推理选型 | 数据不出域怎么做 | 部署方案 + 选型表 |
| 06 | 安全合规与审计 | 怎么过合规评审 | 合规清单 + 审计设计 |
| 07 | 成本治理与预算告警 | 钱怎么管 | 成本模型表 |
| 08 | 团队与效能度量 | 怎么证明有价值 | 度量指标 + PoC 计划 |
阅读路径建议
| 你的角色 | 建议 |
|---|---|
| 要写立项材料 | 01 → 07 → 06(路线 + 成本 + 合规) |
| 要做技术架构 | 02 → 03 → 04 → 05 |
| 要汇报价值 | 01 → 08 |
一条贯穿全篇的判断:平台化不是「把所有 AI 能力塞进一个系统」,而是「把治理能力(路由、限流、审计、成本)沉淀成共享基础设施,让业务团队能自助接入」。做反了就会变成一个新的烟囱。