Robots2

2024年1月2日

摘要：一、开发注意事项 1、Iceberg选择合适的表版本简述：Iceberg目前有两个表版本（V1和V2），根据数据选择合适的表版本。 V1表只支持增量数据插入，适合做纯增量写入场景，如埋点数据。 V2表才支持行级更新，适合做状态变化的更新，如订单表同步。使用方式：建表语句时指定版本'format- 阅读全文

posted @ 2024-01-02 09:35 Robots2 阅读(399) 评论(0) 推荐(0)

优化-iceberg调参优化

摘要：一、建表优化 1、iceberg表支持更新操作。文档：https://iceberg.apache.org/docs/latest/configuration/ 功能描述：因v1只支持insert，如果有更新场景，则需要建表时指定format为V2版本参数：'format-version'='2 阅读全文

posted @ 2024-01-02 09:34 Robots2 阅读(626) 评论(0) 推荐(0)

Kyuubi支持Iceberg配置

摘要：一、简述 Kyuubi调用Spark来查询iceberg表，修改Spark配置信息即可。二、服务配置 1、上传jar包到Kyuubi server节点可以选择emr spark组件后，按照配置组(kyuubi-spark321)筛选kyuubi节点。 hadoop用户上传jar包：tx-iceb 阅读全文

posted @ 2024-01-02 09:32 Robots2 阅读(277) 评论(0) 推荐(0)

2023年12月28日

Flink mysql-cdc同步主键分布不均匀的mysql表

摘要：一、背景 1、遇到问题描述通过Flink同步mysql到iceberg中，任务一直在运行中，但是在目标表看不到数据。经排查发现job manager一直在做切片工作，切了一小时还没开始同步数据，日志如下： 2023-12-28 16:58:36.251 [snapshot-splitting] I 阅读全文

posted @ 2023-12-28 17:18 Robots2 阅读(1447) 评论(0) 推荐(0)

2023年12月22日

Idea下载插件报错

摘要：报错内容Plugin Python was not installed: Cannot download 'https://plugins.jetbrains. 解决办法 file -> settings -> System Settings -> Updates 把 Use secure conn 阅读全文

posted @ 2023-12-22 16:07 Robots2 阅读(321) 评论(0) 推荐(0)

Spark常用Sql

摘要：一、日期处理 1、查询当前日期 SELECT current_date() 2023-12-22 2、查询当前时间戳 select current_timestamp() 2023-12-22 14:50:19.213 3、查询当前时间戳-1小时 select current_timestamp() 阅读全文

posted @ 2023-12-22 14:51 Robots2 阅读(253) 评论(0) 推荐(0)

2023年12月20日

presto解析jsonArr转多行

摘要：一、假数据解析 SELECT r1.col.dataSourceId, r1.col.database, r1.col.dataTable FROM (SELECT explode(r.json) AS col FROM ( SELECT from_json('[{"dataSourceId":4, 阅读全文

posted @ 2023-12-20 14:43 Robots2 阅读(470) 评论(0) 推荐(0)

2023年12月19日

从cos下载文件

摘要：新建test.sh脚本 #!/bin/bash set -e cospath=https://11111.cos.ap-beijing.myqcloud.com/emr/hive/script/20231213/iceberg-hive-runtime-1.3.1.jar downloadjar() 阅读全文

posted @ 2023-12-19 16:39 Robots2 阅读(227) 评论(0) 推荐(0)

2023年12月13日

presto集成iceberg

摘要：一、Presto服务下新建catelog cd /usr/local/service/presto/etc/catalog vim iceberg.properties connector.name=iceberg #iceberg.catalog.type=hive_metastore hive. 阅读全文

posted @ 2023-12-13 15:45 Robots2 阅读(151) 评论(0) 推荐(0)

2023年12月12日

养老金计算

摘要： 1、基础养老金计月基础养老金=退休当年养老金计发基数（退休时上年度社会平均工资）×（1+个人平均缴费指数）÷2×缴费年限×1% 2020年北京的养老金计发基数11082元。缴费年限为20。把数据代入公式可以得到：月基础养老金=11082 ×（1+3）÷2×20×1%=4432元。 2、个人账户养老金阅读全文

posted @ 2023-12-12 10:38 Robots2 阅读(136) 评论(0) 推荐(0)

公告