岚天逸见

上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 79 下一页

2023年5月30日 #

Hudi的OverwriteNonDefaultsWithLatestAvroPayload效果测试

摘要: 设置 Payload 为 OverwriteNonDefaultsWithLatestAvroPayload: ```sql set `hoodie.datasource.write.payload.class`=`org.apache.hudi.common.model.OverwriteNonD 阅读全文

posted @ 2023-05-30 10:44 岚天逸见 阅读(104) 评论(0) 推荐(0)

2023年5月25日 #

Python求前后第n个月函数

摘要: 数据分析常用到: ```python # 求往后第 n 个月 # monthstr 格式:YYYY-MM # # print next_month("2023-05", 1) # 2023-06 # print next_month("2023-05", 6) # 2023-11 # print n 阅读全文

posted @ 2023-05-25 22:24 岚天逸见 阅读(64) 评论(0) 推荐(0)

2023年5月19日 #

Hudi写语义保证

摘要: Hudi 为 Hadoop Upserts Deletes and Incrementals 的缩写,Incremental 即 Incremental pull,也就是增加拉取,是一种类似于消息队列的流式消费。 单写保证 upsert 保证不重复。 insert 如果开启了去重(hoodie.da 阅读全文

posted @ 2023-05-19 09:32 岚天逸见 阅读(75) 评论(0) 推荐(0)

2023年5月18日 #

Hudi - Could not create payload for class

摘要: 设置错误的 payload: set `hoodie.datasource.write.payload.class`=`org.apache.hudi.common.model.PartialUpdateAvroPayloadX`; 在执行 insert 时报错: 2023-05-18 15:50: 阅读全文

posted @ 2023-05-18 16:11 岚天逸见 阅读(363) 评论(0) 推荐(0)

2023年5月17日 #

flink之java.lang.NumberFormatException: For input string错误

摘要: 场景: 使用flink读取一张hudi表,将数据写入到另外一张hudi表。 错误栈: java.lang.NumberFormatException: For input string: "test_table" at java.lang.NumberFormatException.forInput 阅读全文

posted @ 2023-05-17 15:58 岚天逸见 阅读(272) 评论(0) 推荐(0)

2023年5月16日 #

FlinkSQL和SparkSQL区别

摘要: 区别: FlinkSQL 的 insert 语句可只操作部分字段,而 SparkSQL 必须指定所有字段: spark-sql> create table t11 ( > ds BIGINT, > ts BIGINT, > pk BIGINT, > f0 BIGINT, > f1 BIGINT, > 阅读全文

posted @ 2023-05-16 16:51 岚天逸见 阅读(178) 评论(0) 推荐(0)

Hudi的ro和rt表

摘要: 建表后并不会产生 ro 和 rt 两个表: spark-sql> create table hudi_mor_tbl ( > id int, > name string, > price double, > ts bigint > ) using hudi > tblproperties ( > t 阅读全文

posted @ 2023-05-16 16:29 岚天逸见 阅读(390) 评论(0) 推荐(0)

Hudi表数据重复原因

摘要: 测试中,发现虽然显示设置为 upsert,且也按规范设置了 primaryKey、preCombineField,type 等,但查出的结果仍然存在重复。反复测试,重复的数据稳定为 2,且同一数据的一笔提交时间也保持不变。结果显示同一数据分区相同,但来自不同的 HDFS 文件。 相关Issue 这个 阅读全文

posted @ 2023-05-16 12:48 岚天逸见 阅读(428) 评论(0) 推荐(0)

正确DROP掉MOR类型的HUDI表

摘要: 假设有一张下面这样的 MOR 类型的 hudi 表: CREATE TABLE t_test_001 ( ds BIGINT COMMENT 'ds', ut BIGINT COMMENT 'ut', pk BIGINT COMMENT 'pk', a0 BIGINT COMMENT 'a0', a 阅读全文

posted @ 2023-05-16 09:22 岚天逸见 阅读(191) 评论(0) 推荐(0)

2023年5月11日 #

Flink MySQL CDC connector 使用注意事项

摘要: 注意事项 表要有主键 库名和表名不能有点号 是个 BUG,估计后续会修复。 表名不能有大写 也是个 BUG,估计后续会修复。 如果表名含有大写的字母,查询时日志可看到如下信息: java.util.concurrent.ExecutionException: java.io.FileNotFound 阅读全文

posted @ 2023-05-11 19:01 岚天逸见 阅读(109) 评论(0) 推荐(0)

上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 79 下一页

导航