智能客服
知识问答中台
检索增强 + 小模型分流，把 68% 的常见问题挡在大模型之前，单次对话成本从 ¥0.21 降至 ¥0.07。
解决方案对比：自建、托管与混合的三年总成本
以日均 400 万次推理、模型参数 70 亿、峰值 QPS 300 为基准口径，把隐性成本一并摊开。
| 对比维度 | 全自建算力池 | 托管式 AI 平台 | 混合（推荐） |
|---|---|---|---|
| 首年投入 | 180 万起（含机房与冗余） | 42 万（按量+预留） | 78 万 |
| 每千次推理成本 | ¥0.42 | ¥0.31 | ¥0.19 |
| 扩容到 2 倍 QPS | 6~10 周采购周期 | 小时级 | 1~2 天 |
| 闲置浪费 | 峰值采购，闲时约 47% | 约 6% | 约 11% |
| 团队占用 | 3 名运维常驻 | 0.5 名 | 1 名 |
| 适用条件 | 数据合规极严、负载稳定 | 验证期与中小体量 | 推理外放、训练自持 |
应用场景展示：四个 Tab 就是四条业务线
同一套组件在不同场景里切换分区，避免为每个业务重做一遍网页设计与排版。
视觉质检
边缘推理产线
模型量化到 INT8 后显存占用 -55%，单条产线 12 路视频流共用 1 张推理卡，回收周期约 5 个月。
文档抽取
票据结构化
版式模板 + 字段级回退策略，字段准确率 96.4%，人工复核比例压到 8% 以下。
工作流程步骤：从立项到上线的四段成本闸门
每段设一道止损闸门，越早发现不划算，越省钱。
需求与基线
明确业务指标与可接受误差，用规则或小模型跑一遍基线，记录人工处理单位耗时。
闸门：基线人工成本高于 AI 成本 2 倍才继续数据与标注
按 7:2:1 切分，先标 2000 条做可行性验证，标注一致率低于 0.85 先改规范。
闸门：单条标注成本 ≤ 训练预算的 30%训练与调优
固定随机种子与评测集，每轮记录显存、时长与指标，避免重复烧算力。
闸门：三轮不涨点即停，转向数据侧部署与观测
灰度 5% 流量，盯 P95 延迟、错误率与单位调用成本三条曲线，再逐级放量。
闸门：P95 超 320ms 触发降级与缓存核心能力卡片：六块可以直接复用的平台模块
模块化布局的意义在于：任意一块替换或下线，其余五块不受牵连。
数据接入网关
统一结构化与非结构化入口，支持增量拉取与去重。
- 接入耗时：新源 ≤ 0.5 人日
- 去重准确率 ≥ 99.2%
特征与向量库
离线批算与在线特征共用同一份定义，减少口径打架。
- 特征复用率 74%
- 检索 P99 ≤ 60ms
训练调度器
按优先级排队，抢占式回收空闲卡，降低空转。
- GPU 利用率 71% → 88%
- 排队等待中位数 4 分钟
模型注册中心
版本、指标、依赖一键回溯，支持一键回滚。
- 回滚耗时 ≤ 90 秒
- 版本可追溯率 100%
推理服务层
批处理合并 + KV 缓存 + 量化，压住单位成本。
- 合并后吞吐 +2.3 倍
- 单卡并发 48 路
成本观测台
按业务线、模型、接口三个维度拆分账单。
- 成本归因覆盖率 96%
- 异常告警 5 分钟内触达
实用指导清单：把成本压下来的 7 个动作
每条都带阈值或参数，照着做就能验收，不靠感觉。
先建成本基线，再谈模型选型
用「每千次调用成本 = 算力单价 × 平均 token × 调用量 + 存储 + 人力摊销」算出当前值，作为唯一比较口径；没有基线时，任何优化都不可验证。
按任务难度做模型分级路由
把请求分为简单/中等/复杂三档，简单档走小模型或规则，目标：小模型承接 ≥ 60% 流量，整体成本下降 35%~50%。
量化与批处理同时上
INT8 量化通常省 40%~55% 显存；推理批大小从 1 提到 8，吞吐可提升约 2 倍，但要把 P95 延迟红线锁在 320ms 内。
给缓存设明确命中率目标
对高频重复问句做语义缓存，命中率低于 15% 说明收益不足，应改为前缀缓存（KV Cache 复用），避免自嗨式优化。
训练阶段设三轮止损线
同一评测集连续三轮指标提升 < 0.5% 即停止训练，转向数据清洗与标注规范修订，避免无效算力支出。
Tab 分区控制单屏信息量
每个选项卡承载 5~7 个信息块为宜，超出就再分层；实测可把用户找到目标配置的时间从 42 秒压到 18 秒以内。
用对比度与动效守住可用性
深色底上正文对比度 ≥ 4.5:1，强调色仅用于激活态与关键数字；动效时长控制在 150~450ms，并保留 reduced-motion 降级。
常见问题：关于成本与选型的四个追问
展开查看具体判断条件，避免拍脑袋决策。
什么时候该从托管切回自建算力？
当单月推理支出连续两个月超过同规格自建月摊销的 1.6 倍，且负载曲线波动小于 25%（即峰值/均值比低）时，自建更划算；否则继续托管，把弹性留给业务。
选项卡式布局会不会让用户找不到内容？
关键在分区命名与默认项。每个 Tab 名称用业务名词而非技术名词，默认打开使用频率最高的一项，并在导航上保持 6 项以内；超过 6 项应合并或改为二级锚点。
量化之后精度掉了怎么办？
先只量化权重保留激活为 FP16，观察指标回落幅度；若关键指标下降超过 1.5%，对该层做混合精度回退，而不是整模型放弃量化。
怎么量化交互式设计的收益？
记录任务完成时长、切换次数与错误点击率三项：目标是把配置类任务时长压到 20 秒内、无效切换降到 15% 以下，否则说明分区划分不符合用户心智模型。