模型编排与路由
按任务难度动态路由到大/小模型，简单意图走小模型，复杂意图升档，兼顾成本与效果。
01 / Metrics
关键数据条：先看偏差，再谈优化
以下指标取自平台近 7 日滚动窗口，建议每次发版前对照基线复核，偏差超过阈值即触发回滚评估。
42msP95 推理延迟（低于 60ms 达标）
98.6%意图识别准确率（基线 96.2%）
3.7倍缓存命中带来的吞吐提升
-28%单位调用算力成本降幅
02 / Playbook
实用指导清单：AI平台落地的 6 条硬规则
面向开发者与创业团队，每条都给出可执行做法与量化阈值，避免“看起来很美”的演示陷阱。
- 先定评估集，再调模型冻结 ≥500 条人工标注样本作为回归集，每次改动跑全量评测；准确率下跌超过 1.5 个百分点即判定回归，禁止带病上线。
- 把延迟预算拆到链路上总预算 200ms 时，检索占 60ms、模型推理 90ms、后处理 20ms、余量 30ms；任一段超支先用缓存与批处理补，而非盲目换更小模型。
- 灰度发布按流量切片首轮放量 5%，观察 30 分钟错误率与 P95；无异常再按 5%→25%→50%→100% 阶梯推进，每级保留一键回滚开关。
- 用数据看板替代口头对齐在 AI 平台首页固定展示可用性、时延、成本、满意度四类指标，刷新间隔 ≤30s，让产品、算法、运维看同一份事实。
- 交互设计保留可解释层每个输出结果旁提供命中片段与置信度，置信度低于 0.65 时自动提示“建议人工复核”，减少误信带来的业务返工。
- 响应式设计兼顾长内容表格在 640px 以下转为卡片或横向滚动，点按区不小于 44px；长英文标识强制断行，避免窄屏横向溢出。
03 / Spotlight
图文混排特写：一次检索增强的落地复盘
从数据接入到线上放量，用一条真实链路说明指标如何驱动每一步取舍。
把召回质量做成可对比的曲线
该链路先做向量召回再做重排。实测发现：把召回条数从 5 提到 12、重排保留 4 条时，答案引用准确率从 81% 升到 93%，但 P95 延迟上升 18ms。最终以“准确率优先、延迟可控”为原则定稿，并保留降级开关应对高峰。
93%引用准确率
12→4召回→重排
+18msP95 增量
04 / FAQ
常见问题：上线前最容易被问到的四件事
答案均给出可核对的数据口径，便于直接在评审会上引用。
冷启动阶段没有足够标注数据怎么办？
先用规则与检索兜底，把线上真实请求采样 200~500 条做弱标注，两周内即可积累首版评估集；期间以人工复核率作为过渡指标，控制在 15% 以内。
如何判断该换模型还是该优化数据？
若评估集上的错误集中在少数类别且样本量不足，优先补数据；若各类别错误均匀且已接近模型容量上限，再考虑升级模型。经验阈值：单类样本少于 80 条时先补数据。
响应式网页在移动端如何保证可读？
正文最小字号不低于 14px，行高 1.6；图表在窄屏改为纵向条形并保留数值标签，避免只留色块无法读数。所有交互目标不小于 44px。
怎样量化“用户体验优化”的收益？
同时看任务完成率、平均操作步数与首次成功耗时三项。以客服场景为例，步数从 7 步降到 4 步、首次成功耗时从 96s 降到 51s，可直接折算为人力节省。
05 / Capabilities
核心能力卡片：六块拼图组成一个 AI 平台
每张卡都标注了关键参数，方便按需取舍而非全盘照搬。
向量检索与重排
支持混合检索与多路召回，重排模型可热插拔，索引增量更新分钟级生效。
评测与回归
内置离线评测与在线 A/B，改动自动跑回归集，结果按版本留痕可追溯。
可观测性看板
时延、错误率、成本、满意度同屏呈现，异常自动打标并关联到具体版本。
高级交互工作台
提示词、参数、上下文可视化调试，支持一键把调试配置固化为线上版本。
安全与配额
按项目维度分配算力配额，敏感词与越权调用拦截，超限自动降级而非宕机。
1接入数据
梳理 3 类数据源，定义字段口径与脱敏规则，完成增量同步。
2搭建基线
跑通首版链路并固化评估集，记录延迟与成本基线值。
3灰度验证
5% 流量放量，观察 30 分钟无异常后再阶梯推进。
4持续调优
按周复盘指标偏差，优先处理影响面最大的前 3 项。
06 / Ecosystem
合作伙伴墙：被真实工作流验证过的协作面
以下为平台常见集成方向，均提供标准接口与最小接入样例。
- 云算力供应商
- 数据标注团队
- 向量数据库
- 消息与工单系统
- 身份与权限服务
- 行业模型共建方
07 / Scenarios
应用场景展示：同一平台，三种决策节奏
不同场景对指标优先级不同，先确定“什么最重要”，再决定界面默认展示什么。
智能客服：把首次解决率放在第一位
默认展示首次解决率与人工接管率，延迟作为次要指标折叠在二级面板，避免团队被单一时延数字牵着走。
首次解决率 76%接管率 12%平均 4 轮
研发效能：用缺陷预测前置风险
把评审建议采纳率与缺陷预测命中率并列展示，帮助技术负责人判断该加测试还是该补文档。
采纳率 61%预测命中 0.78迭代 2 周
创业增长：小样本也要做对照
用最小样本量公式约束实验规模，先验证方向再放大投入，避免用噪声当结论。
实验周期 7 天显著性 0.05样本 1.2k
内容审核：误杀与漏放要分开看
把误杀率与漏放率分开统计并设定不同阈值，高风险类目宁可多复核也不放宽。
误杀 1.4%漏放 0.3%复核 9%