摘要： 本文基于 flink 1.12.0 之前尝试了一下 flink sql 的 去重和Top n 功能，只是简单的看了下官网，然后用 sql 实现了功能，但是还有些疑问没有解决。比如：不使用 mini-batch 模式，去重的结果很单一，降序就只输出第一条数据（升序就一直输出最后一条） 为了解决这些疑问 阅读全文

摘要： 在大数据的处理过程中会出现很多汇总类指标的计算，比如计算当日的每个类目下的用户的订单信息，就需要按类目分组，对用户做去重。Flink sql 提供了 “去重” 功能，可以在流模式的任务中做去重操作。 官网文档 去重 官网链接： [去重](https://ci.apache.org/projects/ 阅读全文

摘要： 本文参考官网 Table & SQL Connectors JDBC SQL Connector https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/jdbc.html#lookup-ca 阅读全文

摘要： 参考官网： https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/kafka.htmlhttps://ci.apache.org/projects/flink/flink-docs-r 阅读全文

摘要： 参考文档： 编译Flink 1.9.0 https://chuna2.787528.xyz/Springmoon-venn/p/11512136.html 编译环境： ubuntu 18.05Java : 1.8.0_271 官网下载源码包：https://mirrors.tuna.tsinghua.e 阅读全文

摘要： 参考前文：解决 Flink 1.11.0 sql 不能指定 jobName 的问题 从 FLink 1.11 改版 sql 的执行流程后，就不能和 Stream Api 一样使用 env.execute("JobName") 来指定任务名 看了源码后发现，在 sql 任务中，直接使用了 "inser 阅读全文

摘要： 本文来自官网： https://flink.apache.org/news/2020/12/10/release-1.12.0.html 2020年12月10日Marta Paes（@morsapaes）和Aljoscha Krettek（@aljoscha） Apache Flink社区很高兴地宣 阅读全文

摘要： 注： 所有内容都基于Flink 本地模式 JobGraph 的生成是从 LocalExecutor.java. execute 方法开始的 // 本地执行调用 Pipeline 是 StreamGraph 的父类 @Override public CompletableFuture<JobClien 阅读全文

摘要： Flink 任务的图结构中，部分算子是 chain 在一起的，因为 chain 在一起有很多好处（减少序列化和网络开销，提高效率），而算子 chain 在一起是需要条件的 Flink 任务在生成 JobGraph 的时候，会加入 chain 的概念，会判断算子能否 chain 在一起 首先在 env 阅读全文

摘要： Flink StreamGraph 的核心是 streamNodes 包含所以 算子生成的 StreamNode(也叫 Vertex), StreamNode 中包含连接算子的边（Edge），其他的虚拟节点 使用 virtualSelectNodes、virtualSideOutputNodes、v 阅读全文