对话助手:把检索与生成拆开
检索模块负责召回 Top 5 片段,生成模块只做改写与引用。首字延迟目标 ≤ 600ms,答案引用率要求 ≥ 90%,避免“看起来对但查无出处”。
这是一个网页样式设计参考 · 极简抽象 × 创意矩阵 · 供排版与配色对照使用
Minimal Abstract · Creative Matrix
我们相信,开发工具不该让人紧张。把模型接入、提示词编排、评测回流三件事压进同一块 1px 细线栅格里,用极简抽象的方式降低认知负担——你只需要盯住 3 个关键数字:首字延迟、单次成本、任务通过率。
下面是接入人工智能平台时最常被问到的四个问题,答案都带具体参数,可直接拿去对齐团队共识。
建议按“一次请求能独立完成的事”切分:单模块只负责 1 类输入到 1 类输出,接口字段控制在 8 个以内。经验值是一个矩阵 12–18 个模块最舒适,超过 24 个后维护成本明显上升;每个模块保留 版本号 + 最近 3 次评测快照,回滚一步到位。
用“提示词即代码”的方式管理:命名遵循 模块_意图_v序号(如 summarize_intent_v7),每次改动必须绑定一条评测样例。上线阈值建议:小改动 P90 延迟波动 ≤ 8%,通过率下降 ≥ 2 个百分点即自动回滚。
先量化再取舍。若首字延迟 > 1.2s,用户流失最明显,优先做流式输出与缓存;若通过率 < 85%,优先补评测集与重试策略。建议把单次成本压到 基线模型成本的 30%–40%,用轻量模型处理 70% 的简单请求,复杂请求再升级。
不会,牺牲的是“同时呈现”。做法是:一屏只放 1 个主指标 + 2 个辅助指标,其余收进抽屉或详情页;用 1px 细线做分隔而非色块,用字号层级(大标题 / 中标签 / 小注释)替代颜色堆叠。这样信息密度反而更高,扫描时间通常能缩短 20%–35%。
三条来自真实使用场景的反馈,附上改动前后的可量化差异。
“以前上线一个新能力要排两周,现在把模块拖进创意矩阵、跑一遍回归评测,当天就能灰度。最直观的是值班同学不用再半夜盯日志了。”
上线周期 14 天 → 1 天
“我们把 70% 的简单咨询交给轻量模型,复杂工单才升级。成本降下来了,回答的稳定度反而更好,因为评测集是同一套。”
单次成本下降约 62%
“界面变干净之后,新同学上手时间从一周缩到一天半。1px 细线分隔加留白,看板一眼就能读,不用再问‘这个数字在哪看’。”
新人上手 7 天 → 1.5 天
创意矩阵的价值在于复用。下面三个场景共用同一批模块,只调整编排顺序与阈值。
检索模块负责召回 Top 5 片段,生成模块只做改写与引用。首字延迟目标 ≤ 600ms,答案引用率要求 ≥ 90%,避免“看起来对但查无出处”。
先抽 200 份文档跑评测,字段抽取准确率 ≥ 95% 再放开全量。单批处理建议 500 份、并发 8,失败任务自动进入重试队列,最多重试 2 次。
补全模块追求低延迟(P90 ≤ 300ms),测试生成模块追求覆盖率(新增用例覆盖 ≥ 70% 分支)。两者共享同一份上下文缓存,避免重复解析。
按顺序执行即可,每步都给了判断阈值和避坑点,适合边做边对照。
写清楚“哪些请求交给矩阵、哪些走人工”。建议把占比 < 5% 的长尾场景先排除,避免为极少数情况拖慢整体链路。
每个模块只做一件事,输入输出字段 ≤ 8 个。拆完先画一张矩阵图,检查是否存在循环依赖——有环就先合并。
每个模块至少 30 条样例,覆盖正常、边界、对抗三类。评测集与训练数据分离,防止指标虚高;每月补充 10% 新样例保持新鲜度。
通过率 ≥ 92%、首字延迟 P90 ≤ 480ms、单次成本 ≤ 基线 40%。任一指标越界即触发回滚,规则写进配置而不是靠口头约定。
按 5% → 20% → 50% → 100% 四档放量,每档观察至少 30 分钟。异常率超过 1.5% 立即暂停,先看日志再决定回滚还是修复。
看三板斧:延迟分布、失败原因 Top 3、成本曲线。把失败样本自动归档到对应模块,每周复盘一次,优先修“重复出现 3 次以上”的问题。
每季度清理一次:下线 90 天内调用量 < 1% 的模块,合并职责重叠的模块,界面同步减少装饰。目标是让新同学 1.5 天内能独立改一个模块。