先定口径，再取数
指标定义写进数据字典：粒度（按天/按会话）、时间窗（滚动 30 天）、空值策略（剔除/填补）三件套齐备才允许建表，口径不一致导致的返工通常占项目工期的 20%~35%。
大数据分析
数据挖掘
生态与协作
协作建仓前，先过这 6 道数据挖掘检查关
面向共建方的最小可用清单：每条都给出阈值与做法，照做即可把联合挖掘项目的返工率压下来。
特征先行做小样本验证
抽样 5 万 行跑通特征管道，观察 IV 值与缺失率；缺失率 > 40% 的特征先降权或换源，别急着进全量训练，避免 GPU 时长被无效特征吃掉。
建模前锁定评估基线
分类任务留 20% 时间外切分做验证，先跑逻辑回归或 GBDT 基线；若复杂模型 AUC 提升 < 0.02，优先优化特征而非换模型。
协作必须做数据最小化
跨机构建模走联邦学习或安全多方计算，只交换梯度与中间参数；输出侧对单条记录加 k≥5 的匿名集约束，防止反推个体。
埋点与指标同步上线
模型上线当周同步接入监控埋点：预测分布漂移（PSI > 0.2 告警）、特征缺失率、接口 P95 延迟；没有监控的模型等于没有上线。
用回溯复盘锁住收益
每月做一次回溯：对比实验组与对照组的关键指标，留存增益 < 1.5% 的模型进入下线候选，保持特征库只留下真正产生业务价值的算子。
三种挖掘路径，按数据边界与时效选型
同一批业务问题，集中式、联邦式、流式三条路线在数据边界、时效与协作成本上差异明显，按需组合而非一刀切。
| 方案 | 适用数据边界 | 时效 | 协作成本 | 典型场景 |
|---|---|---|---|---|
| 集中式数仓挖掘 | 数据可归集、合规允许集中存储 | 小时级批处理 | 低，1~2 周可跑通 | 用户分层、复购预测、报表体系 |
| 联邦协作挖掘 | 数据不出域，多方联合建模 | 天级迭代 | 中，需协议与对齐，3~6 周 | 跨机构风控、联合营销人群扩展 |
| 流式实时挖掘 | 事件流可实时接入 | 秒级，P95 < 800ms | 高，需流计算与状态管理 | 实时反欺诈、异常检测、动态定价 |
协作网络的实时体征：吞吐、命中与漂移
面板数据来自联合节点上报，采样窗口 24 小时，用于判断是否该扩节点、加特征或回滚模型。
各节点特征命中率（近 7 日）
命中率低于 60% 的节点需补采或换源，避免联合模型被弱特征拖累。
2.4TB/日
联合节点日均入湖数据量
0.13PSI
主模型特征漂移，低于 0.2 告警线
620ms
千亿级明细查询 P95 延迟
+3.8%
联合模型较单方基线 AUC 相对提升
从接入到闭环：一个联合挖掘项目的协作节奏
左右交错呈现四个协作阶段，每个阶段都标注交付物与判断标准，方便共建方对照排期。
场景共创工作坊
业务、算法、合规三方同桌，2 天内产出问题清单与指标口径；交付物为数据字典 v1 与合规边界说明。
联邦通道接入
各节点部署采集探针，只上送特征与梯度；验收标准为连通率 ≥ 99%、单批同步延迟 < 5 分钟。
特征市场联合训练
从 420+ 算子中筛选组合，按周迭代；以时间外切分验证，AUC 提升不足 0.02 则回到特征层优化。
上线监控与回溯
灰度 10% 流量先跑 7 天，PSI 与延迟达标后全量；每月回溯收益，增益低于 1.5% 的模型进入下线候选。
支撑协作挖掘的三块底座
把算力、特征与可视化拆成可独立演进的能力，任何一方都能只接自己需要的那一块。
一张图看完协作链路的健康度
节点、任务、特征、模型四层状态统一在一张拓扑图上，异常节点 30 秒内高亮，值班同学无需在多套系统间跳转。
联邦调度引擎
按数据边界编排任务，支持批流一体的依赖管理与断点续跑。
- 单集群可调度 3000+ 并发任务
- 失败重试退避 2s→32s，上限 5 次
- 资源超卖比控制在 1.4 以内
特征资产市场
特征即商品：登记、评测、版本、血缘四件套齐备才允许被引用。
- 420+ 算子，覆盖统计、时序、图特征
- 每个特征带 IV、缺失率与更新频率
- 版本回滚粒度精确到单特征
可视化探查台
面向业务方的自助探查，拖拽即可下钻到明细，不必等排期。
- 千亿级明细 P95 查询 620ms
- 响应式设计适配桌面与移动端
- 动态效果仅用于状态变化提示
生态协作入口
带上你的场景，加入数智时代的联合挖掘网络
我们提供算子、算力与合规通道，你提供业务问题与领域知识；首批共建方将在 5 个工作日内收到接入评估反馈与联调排期。