图列混合存储
邻接表与列式存储同源写入,点查走邻接索引、聚合走列式扫描,避免两套数据不一致带来的重复清洗。
用 details 模拟选项卡分组,每组的筛选、时间窗、维度状态各自独立保存;切换仅换视图层,不触发全量重算。
以社区发现(Louvain)预计算分层,首屏只渲染 Top 8% 高权重节点,其余按需展开。边权阈值低于 0.15 的连边默认折叠,降低前端的绘制压力。
把网络纵横的连边变化转成时间序列:按 5 分钟聚合边权增量,用滑动窗口(窗口 288、步长 12)识别突变点,异常段自动落到「待核查」队列,减少人工翻页成本。
为数据挖掘与机器学习任务产出稳定特征:度中心性、介数近似、社区标签、连边增长速率等 128 维特征,按分区增量落盘,避免每次训练全量重算。
弧形排布,能力之间不是并列罗列,而是从存到算到看的性能链路。
邻接表与列式存储同源写入,点查走邻接索引、聚合走列式扫描,避免两套数据不一致带来的重复清洗。
把缩放层级、视口范围、可见维度编译成下推谓词,只取当前看得见的数据,前端不再接收整图再裁剪。
按数据分区水位触发增量任务,仅重算受影响的社区与特征块,把整夜批处理压缩成小时级滚动更新。
鼠标悬停即展开参数说明,焦点进入同样展开,键盘可达;不占额外版面高度。
按源/目标分组求和与去重,1000 万边聚合耗时约 6.2s;建议先按时间分区裁剪再聚合。
限制最大跳数 4、每层候选 200,避免路径爆炸;超过阈值自动切换为近似算法。
Louvain 分辨率 1.0,迭代上限 20 轮;模块度低于 0.35 时提示调参而非直接出图。
基于度分布与连边增速的联合评分,分值 > 0.82 进入高危队列,人工复核成本下降约 40%。
每一步都给到可验收的量化门槛,避免「跑通了但不可用」。
接入数据源后先建点表/边表,主键去重率需 ≥ 99.5%;边表补 source_id、target_id、weight、ts 四列即可满足多数挖掘任务。
对度中心性与社区标签做预计算,按天分区;索引构建完成后点查应稳定在 ≤ 15ms,否则回到分区策略排查。
并行下发特征任务,单批控制在 ≤ 10 万节点;结果写入特征表并打上版本号,保证训练与线上同一口径。
首屏 TTI ≤ 1.5s、切页不重载、筛选状态可回退;验收以 3 个真实业务问题能否在 2 次点击内得到答案为准。
「以前查一条跨 4 跳的关系要等十几秒,现在基本是点下去就出结果。分析师一天能多跑 30% 的假设验证。」
李工 · 高级数据分析师风控数据团队
「选项卡分区让筛选条件不丢,切回上一个视图不用重新配一遍。仅这一项,每周省下的重复操作约 4 小时。」
陈经理 · 企业决策者运营分析中心
「增量挖掘把夜间批处理从 7 个多小时压到 48 分钟,早上开会前数据已经是新的,再不用拿昨天的结论做判断。」
周工 · 平台架构师数据平台组
统一权重归一化到 0–1(最小值-最大值或分位截断),阈值建议 0.15;口径不统一会让社区发现结果在不同视图间互相矛盾。
前端同时绘制节点不超过 5 万、连边不超过 20 万;超出时启用分层聚合,否则帧率会掉到 20fps 以下,交互直接失去手感。
最大跳数 ≤ 4、每层候选 ≤ 200、总路径 ≤ 5000;命中上限时改用近似算法并显式提示用户,避免浏览器长时间无响应。
以天为分区、水位触发增量;单批节点 ≤ 10 万、目标产出延迟 ≤ 90s。全量重算只在模型升级时执行,节省约六成算力。
每个分区独立保存筛选与时间窗,切换视图不触发全量重算;把重算量压到 5% 以内,是「切页不卡」的关键指标。
准备 3 个真实业务问题,要求都在 2 次点击内出答案;首屏 TTI ≤ 1.5s、点选详情 ≤ 200ms,达不到就优先优化下推与索引,别先换图表库。
同一条网络纵横数据,不同规模下的最优解并不相同;下表给出可对照的量化差异。
| 方案 | 适用规模 | 点查 P95 | 聚合查询 | 增量挖掘 | 综合成本 |
|---|---|---|---|---|---|
| 单机列式 + 邻接索引 | ≤ 200 万节点 | 8ms | 3.2s | 需停机重建 | 低 |
| 分布式图列混合(推荐) | 200 万 – 5000 万节点 | 12ms | 1.1s | 分钟级增量 | 中 |
| 纯内存图计算集群 | ≥ 5000 万节点 | 4ms | 0.6s | 流式更新 | 高 |
| 离线批处理 + 缓存看板 | 任意规模(非实时) | 依赖缓存命中 | 受刷新周期限制 | 小时级 | 低 |