大数据专题（六）：让指标可信，批流对账、历史补数与故障恢复
把 Kafka、Spark、Flink 和 Iceberg 实验串成可验证的数据链路，明确实时与离线口径，完成缺失检测、历史补数、幂等重跑和结果验收。
2024年11月归档
按发布时间倒序排列。
共 3 篇文章 · 当前 1–3 篇
大数据专题（五）：Flink 实时计算，乱序事件如何得到正确结果
用真实 Kafka 与 Flink 链路观察事件时间、Watermark、窗口更新、状态与 Checkpoint，验证迟到事件和 TaskManager 故障后的结果。
大数据专题（四）：Spark 批处理，一条 SQL 如何变成分布式计算
沿着播放明细关联视频维度的执行过程理解 Stage、Task、Shuffle、Join 和 AQE，用百万条热点数据观察真实计划与运行指标。