摘要: 从零学习Kafka:配置参数 前面我们对 Kafka 的整体架构和一些关键的概念有了一个基本的认知,本文主要介绍 Kafka 的一些配置参数。掌握这些参数的作用对我们的运维和调优工作还是非常有帮助的。 阅读全文
posted @ 2026-02-02 21:42 Jackeyzhe 阅读(293) 评论(0) 推荐(0)
摘要: 从零学习Kafka:集群架构和基本概念 在前文中,我们从源码层面介绍了 Flink 的 Kafka Connector 的实现。从本文开始,我们的目标也正式从 Flink 过渡到 Kafka。 阅读全文
posted @ 2026-01-27 21:47 Jackeyzhe 阅读(410) 评论(0) 推荐(0)
摘要: Flink源码阅读:Kafka Connector 本文我们来梳理 Kafka Connector 相关的源码。 阅读全文
posted @ 2026-01-20 22:03 Jackeyzhe 阅读(291) 评论(0) 推荐(0)
摘要: Flink源码阅读:Mailbox线程模型 本文我们来梳理 Flink 的线程模型——Mailbox。 阅读全文
posted @ 2026-01-15 21:26 Jackeyzhe 阅读(13) 评论(0) 推荐(0)
摘要: Flink源码阅读:JobManager的HA机制 JobManager 在 Flink 集群中发挥着重要的作用,包括任务调度和资源管理等工作。如果 JobManager 宕机,那么整个集群的任务都将失败。为了解决 JobManager 的单点问题,Flink 也设计了 HA 机制来保障整个集群的稳定性。 阅读全文
posted @ 2026-01-14 23:45 Jackeyzhe 阅读(228) 评论(0) 推荐(0)
摘要: Flink源码阅读:Netty通信 前文中我们了解了 Flink 的数据交互过程,上游的 Task 将数据写入到 ResultSubpartition 的 buffers 队列中。下游的 Task 通过 LocalInputChannel 和 RemoteInputChannel 消费上游的数据。 阅读全文
posted @ 2026-01-12 20:40 Jackeyzhe 阅读(232) 评论(0) 推荐(0)
摘要: Flink源码阅读:Task数据交互 经过前面的学习,Flink 的几个核心概念相关的源码实现我们已经了解了。本文我们来梳理 Task 的数据交互相关的源码。 阅读全文
posted @ 2026-01-09 20:11 Jackeyzhe 阅读(256) 评论(0) 推荐(0)
摘要: Flink源码阅读:双流操作 今天来梳理一下 Flink 双流操作相关的源码。 阅读全文
posted @ 2026-01-06 20:50 Jackeyzhe 阅读(290) 评论(0) 推荐(0)
摘要: Flink源码阅读:窗口 前文我们梳理了 Watermark 相关的源码,Watermark 的作用就是用来触发窗口,本文我们就一起看一下窗口相关的源码。 阅读全文
posted @ 2026-01-05 22:47 Jackeyzhe 阅读(222) 评论(0) 推荐(0)
摘要: Flink源码阅读:Watermark机制 前面我们已经梳理了 Flink 状态和 Checkpoint 相关的源码。从本文开始,我们再来关注另外几个核心概念,即时间、Watermark 和窗口。 阅读全文
posted @ 2026-01-04 20:59 Jackeyzhe 阅读(270) 评论(0) 推荐(1)