探照档 · 数据体检
- 接入 ≤ 5 个数据源,日增 ≤ 500 万条
- 完成完整性 / 一致性 / 唯一性 3 类质量体检
- 交付 1 张核心指标看板 + 数据字典
- 周期 2 周,含 1 次复盘会
按「数据接入规模 + 挖掘深度」定价,横向滑动查看三档;均含单页式决策看板交付,不额外收取报表搭建费。
同一个数据底座,三种典型用法;每个场景都给出可核对的量化口径,避免「看起来很美」的伪分析。
对齐埋点口径后,按日 / 周 / 月三档计算留存,定位转化流失最严重的 1 个环节优先优化。
以 7 日移动均值为基线,偏离 ±3σ 自动触发告警,把异常发现时间从「次日」压缩到分钟级。
同一指标只保留一个权威定义,看板支持下钻到明细,减少会议中对数打架的时间。
给正在筹备大数据分析 / 数据挖掘项目的你:下面 6 条是可以直接照做的动作,每条都附阈值或参数,避免「先建平台再说」的坑。
把业务目标翻译成 3 个可计算指标(如支付转化率、单客成本、复购率),每个指标写清「分子 / 分母 / 时间窗 / 过滤条件」。指标未定前不要接入第 4 个数据源,否则字段冗余会让后续挖掘特征暴涨 30% 以上。
上线前核查:上报成功率 ≥ 99%、字段完整率 ≥ 98%、主键重复率 ≤ 0.1%。任一不达标就停在采集层修复,脏数据一旦进仓,清洗成本约为采集期修复的 5~8 倍。
首轮优先用逻辑回归 / 决策树这类可解释模型对齐业务认知,AUC 达到 0.75 基线后再上复杂模型。特征控制在 20~40 个,并记录每个特征的业务含义,避免模型上线后无人敢用。
看板首屏只放 5±2 个核心卡,用户 3 秒内能读出结论;折线不超过 4 条、饼图不超过 5 片。图表配色控制在 3 个色系内,把强调色只留给「异常 / 目标」两类信息。
把分析结论回写业务系统(如名单、标签、阈值),并设置 cron 每日 02:00 重跑。衡量标准:结论从产出到被业务使用的时延 ≤ 24 小时,否则分析会慢慢变成「一次性报告」。
每周巡检:数据新鲜度(延迟 ≤ 30 分钟)、表复用率(≥ 60%)、任务失败率(≤ 1%)、口径变更次数(≤ 2 次/月)。四项中任意一项连续两周越界,就暂停新增需求、先还技术债。
四个阶段、固定交付物,每一步都能对进度;遇到阻塞会在 1 个工作日内同步,不让项目卡在「等数据」上。
2~3 天。访谈决策者与一线使用者,产出指标字典 v1 与验收标准,明确每个指标的分子分母与时间窗。
5~10 天。接入数据源、建立分层(ODS→DWD→DWS),跑通三率校验,输出数据质量问题清单与修复建议。
7~15 天。特征工程 + 模型训练与评估,先交付可解释模型,再按业务反馈迭代;每轮调优提供对比数据。
3~5 天。单页式决策看板上线,培训 1~2 场,并把结论回写业务系统,进入每周健康度巡检节奏。
值得,但重点不同:小数据量优先做「口径统一 + 分群分析」,用规则和分群先把业务问题讲清楚,等数据积累到日增 500 万条以上再引入复杂模型。判断标准是:现有指标是否已经能解释 80% 的业务波动。
先查三件事:①首屏是否超过 7 个卡片;②指标是否与使用者的日常动作相关;③是否有异常推送。经验做法是把看板与周会绑定,并把关键指标接入即时通知,让「看」变成「被提醒」。
建立漂移监控:每周对比特征分布与预测分布,PSI 超过 0.2 触发复核;同时固定一个回滚版本。多数效果下滑来自上游埋点变更或业务规则调整,而非算法本身。