客服智能体分流
意图识别前置，低置信度会话直接转人工。目标：一次解决率 68% → 82%，平均处理时长下降 31%。
用户交互意图分类
01 / 应用场景
四个真实业务场景，每个都带可量化验收口径
把 AI 能力放进具体流程里衡量：先定指标，再谈模型。以下场景均以「基线 → 目标」的方式记录。
研发知识检索
把内部文档切片向量化，回答必须附来源片段。目标：检索命中率 ≥ 91%，单次调用成本控制在 0.004 元内。
开发者工具RAG
内容批量生成
模板 + 审核双轨并行，敏感词拦截率 100%。目标：日产能 400 篇 → 1500 篇，人工返修率低于 6%。
科技美学内容审核
02 / 平台能力
六项平台能力，逐条对应上线检查项
能力不是清单装饰，每一项都绑定一个可被监测的数值，方便你在数据看板上验证它是否真的生效。
01
模型路由
按延迟、成本、质量三维打分自动择路，异常 3 次即熔断降级。
P95 延迟 ≤ 200ms
02
提示词版本库
每次修改留痕可回滚，A/B 流量按 10% 灰度放量。
回滚耗时 < 30s
03
调用可观测
QPS、Token 消耗、失败原因分布三张图默认开启。
埋点覆盖 18 项
04
成本护栏
按项目设日预算，超 80% 预警、超 100% 自动限流。
预算偏差 ≤ 5%
05
交互设计套件
流式输出、加载骨架、错误重试统一组件，减少重复实现。
首字返回 < 600ms
06
评测集管理
固定 200 条黄金样本，每次发版自动跑回归对比。
回归通过率 ≥ 95%
03 / 客户评价
他们用数据说话，而不是用形容词
以下反馈均来自平台上线后的复盘记录，保留原始量化结果。
把模型路由接进订单系统后，高峰期排队从 4.2 秒压到 1.1 秒。真正有用的是失败原因分布图，一眼能看出是限流还是超时。
提示词版本库帮我们把「谁改了什么」讲清楚了。灰度 10% 放量的做法，让一次线上事故的影响面控制在 3% 以内。
成本护栏上线首月，AI 相关支出从 2.7 万元降到 1.6 万元，回答质量评分反而涨了 4 分——因为低效调用被拦住了。
04 / 合作伙伴
与 24 家团队共同打磨的接入生态
覆盖模型供给、数据治理与前端交互三类伙伴，接口全部走统一网关。
MODEL HUB
VECTOR DB
EDGE CDN
DATA LAKE
UI KIT
OBSERVE
05 / 实用指导清单
六条落地要点，照着做就能少走弯路
每一条都给出做法、参数与验收阈值，可直接抄进你的接入排期表。
- 1
先埋点，再接模型
在上线前把 QPS、Token 消耗、失败原因三类埋点接好，
sample_rate=1.0全量采集首周，之后再降到 0.2。没有基线的优化等于拍脑袋。 - 2
固定一条黄金评测集
挑 200 条覆盖高频意图的样本，人工标注标准答案。每次发版自动跑回归，通过率低于
95%直接阻断发布。 - 3
提示词必须版本化
禁止在代码里硬编码提示词，统一进版本库并绑定 commit。灰度先放
10%流量，观察 24 小时再全量。 - 4
给成本装护栏
按项目设日预算，消耗到
80%触发预警通知，到100%自动限流而非直接中断，保留降级输出通道。 - 5
交互先解决等待焦虑
流式输出首字必须 <
600ms，超过 1.5 秒补加载骨架，失败提供一键重试；重试最多 2 次并记录原因。 - 6
避坑：别用单指标下结论
准确率涨了但延迟翻倍，等于体验倒退。至少同时看质量、延迟、成本三条曲线，任一项劣化超
20%需回滚。
97.4%
推理请求成功率（近 30 天）
142ms
接口 P95 响应延迟
-41%
单位调用成本环比下降
24家
已接入的生态伙伴
06 / 工作流程步骤
从接入到迭代，四步闭环
每一步都有明确的产出物与停留时长建议，避免流程空转。
接入与埋点
接入统一网关，完成鉴权与埋点，产出：可观测基线报告。建议 2 个工作日。
评测与灰度
跑通黄金评测集，10% 流量灰度，产出：质量 / 延迟 / 成本三联曲线。建议观察 24 小时。
全量与护栏
全量放量并开启预算护栏与熔断，产出：告警规则与值班手册。建议 1 个工作日。
复盘与迭代
按周复盘失败原因分布，更新提示词版本，产出：下一轮优化清单。固定每周一次。