TAB 01
数据接入与质量校验
血缘 · 采样 · 空值
- 接入前先做 1% 随机抽样 探查:字段类型、空值率、基数(Cardinality)三项同时输出,任一字段空值率 > 5% 需先走补数流程。
- 时间字段统一为 UTC+8 并保留原始时区列,避免跨区域聚合时出现 8 小时偏移导致的日粒度错位。
- 为每张源表登记血缘(上游系统、负责人、更新频率),增量任务失败可 30 分钟内 定位断点并重跑。
- 主键冲突率阈值设为 0.1%,超阈自动阻断写入并告警,防止脏数据污染特征库。
TAB 02
特征工程与数据挖掘
分箱 · 编码 · 重要性
- 连续变量优先做等频分箱(5~10 箱),比等宽分箱更能抵抗长尾分布,分箱后计算 WOE 与 IV,IV < 0.02 的特征直接剔除。
- 高基数类别特征(唯一值 > 50)先用目标编码并加 3 折交叉 防止泄漏,禁止直接 One-Hot 导致维度爆炸。
- 以随机森林输出特征重要性排序,保留累计贡献 前 85% 的特征,可将训练时长压缩约 40%。
- 所有特征变换脚本入库版本管理,保证「同一特征名 = 同一计算逻辑」。
TAB 03
模型评估与可视化交付
AUC · 校准 · 看板
- 分类任务同时看 AUC 与 KS,AUC ≥ 0.75、KS ≥ 0.30 方可进入业务灰度;回归任务看 MAE 与 R²,R² 低于 0.6 需回炉特征。
- 输出概率必须做校准(Platt 或 Isotonic),并给出分箱校准曲线,避免「分数高但实际转化低」的业务误判。
- 数据可视化看板遵循 一屏一结论:单页图表不超过 6 个,主指标字号 ≥ 24px,色阶只用中性灰 + 主色 + 强调色三档。
- 交付物清单:特征字典、模型卡、评估报告、监控指标四项缺一不可。