大数据专题(五):Flink 实时计算,乱序事件如何得到正确结果
用真实 Kafka 与 Flink 链路观察事件时间、Watermark、窗口更新、状态与 Checkpoint,验证迟到事件和 TaskManager 故障后的结果。
勤学如春起之苗,不见其增,日有所长。辍学如磨刀之石,不见其损,日有所亏。
共 56 篇文章 · 当前 21–30 篇 · 2015—2026
用真实 Kafka 与 Flink 链路观察事件时间、Watermark、窗口更新、状态与 Checkpoint,验证迟到事件和 TaskManager 故障后的结果。
沿着播放明细关联视频维度的执行过程理解 Stage、Task、Shuffle、Join 和 AQE,用百万条热点数据观察真实计划与运行指标。
用同一批播放事件观察列式文件与分析表的不同职责,串起事实与维度、数仓分层、分区裁剪、小文件、Schema 演进和历史快照查询。
从视频播放事件的接入与积压出发,理解分区键、消费位置、提交顺序和幂等边界,用真实 Kafka 实验观察恢复消费与主动回放。
以视频播放事件为主线,拆解事务与分析、批处理与流处理的职责,先建立指标口径和可核对的参考答案,再连接 Kafka、Spark、Flink 与 Iceberg。
以多商家比价为例构建 CompletableFuture 任务图,验证结果组合、异常降级、超时与取消,明确完成状态和底层任务生命周期的区别。
在单线程池中稳定复现请求上下文残留,解释 ThreadLocal 的引用关系、异常清理和跨线程传播,并区分串值与内存滞留。
以 OpenJDK 21 为固定源码基线,沿 ReentrantLock 的获取与释放路径理解 AQS,并用排队、中断与超时实验验证使用边界。
从可取消的报价任务出发,解释中断标记、条件等待和 park/unpark 许可,用有截止时间的实验验证协作式退出。
通过库存计数、实例锁与类锁实验理解 synchronized,再用固定环境的 JOL 结果解释对象头和 HotSpot 实现的版本边界。