Robots2

2022年3月24日

摘要：一、数据源配置 pom文件：https://chuna2.787528.xyz/robots2/p/16048648.html 二、RichFlatMap代码，输入单行输出多行 package net.xdclass.class9.app; import org.apache.flink.api.com 阅读全文

posted @ 2022-03-24 12:47 Robots2 阅读(720) 评论(0) 推荐(0)

FLink自定义Kafka Source，处理后转发给下一个kafka topic

摘要：一、依赖配置 pom文件：https://chuna2.787528.xyz/robots2/p/16048648.html kafka单机版安装：https://chuna2.787528.xyz/robots2/p/15797379.html 其它信息看我的博客二、Flink代码 package ne 阅读全文

posted @ 2022-03-24 11:39 Robots2 阅读(452) 评论(0) 推荐(0)

FLink自定义Sink，生产的数据导出到Redis

摘要：一、pom文件 https://chuna2.787528.xyz/robots2/p/16048648.html 二、自定义sink 2.1 自定义sink package net.xdclass.class6.sink; import org.apache.flink.api.java.tuple. 阅读全文

posted @ 2022-03-24 11:32 Robots2 阅读(282) 评论(0) 推荐(0)

FLink自定义Sink，生产的数据导出到mysql

摘要：一、自定义生产数据 https://chuna2.787528.xyz/robots2/p/16048729.html 二、生产转化数据，导出到mysql 2.1 建表语句 CREATE TABLE `video_order` ( `id` int(11) unsigned NOT NULL AUTO_ 阅读全文

posted @ 2022-03-24 11:05 Robots2 阅读(926) 评论(0) 推荐(0)

FLink自定义Source，不停生产数据

摘要：一、代码模板 VideoOrder.java package net.xdclass.model; import java.util.Date; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsCon 阅读全文

posted @ 2022-03-24 10:59 Robots2 阅读(696) 评论(0) 推荐(0)

Flink基础Source配置

摘要：一、pom文件 https://chuna2.787528.xyz/robots2/p/16048648.html 二、代码demo FlinkBaseSource.java package net.xdclass.class4; import org.apache.flink.api.common.R 阅读全文

posted @ 2022-03-24 10:54 Robots2 阅读(173) 评论(0) 推荐(0)

Flink Maven项目，依赖配置pom.xml

摘要： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文

posted @ 2022-03-24 10:50 Robots2 阅读(2668) 评论(0) 推荐(0)

2022年3月23日

VsCode 配置python开发环境

摘要：一、配置环境 1、选择python解释器版本输入：Command+shift+P 搜索：Python: Select Interpreter 2、安装包指定版本： pip install PyHive==0.6.5 不指定版本：pip install PyHive 3、更新pip3 python 阅读全文

posted @ 2022-03-23 20:26 Robots2 阅读(928) 评论(0) 推荐(0)

Python常用包

摘要：一、Web框架: Tornado，访问：http://www.tornadoweb.org/en/stable/ Flask，访问：http://flask.pocoo.org/ Web.py，访问：http://webpy.org/ django：https://www.djangoproject 阅读全文

posted @ 2022-03-23 20:08 Robots2 阅读(240) 评论(0) 推荐(0)

waterdrop同步mysql数据到hive

摘要：一、shell类型任务，提交到yarn集群 #!bin/bash# 数据源配置，只读账号 jdbc_url="数据库ip:3306"database="数据名"username="账号"password="密码"# 目标hive表配置 target_table="hive库.hive表"target 阅读全文

posted @ 2022-03-23 16:57 Robots2 阅读(624) 评论(0) 推荐(0)

公告