RICH-ATONE

Flink的部署方式

摘要： local模式：适用于本地开发和测试环境，占用的资源较少，部署简单，只需要部署JDK和flink即可达到功能开发和测试的目的。只需要一台主机即可。 standalone cluster：可以在测试环境功能验证完毕到版本发布的时候使用，进行性能验证。搭建需要ssh jdk和flink。至少需要3台主阅读全文

posted @ 2020-12-08 22:44 RICH-ATONE 阅读(1321) 评论(0) 推荐(0)

Flink线上环境搭建

摘要： Flink 集群搭建(基于flink on YARN模式) Flink HA高可以集群搭建(生产环境Flink Cluster On YARN) 阅读全文

posted @ 2020-12-08 22:39 RICH-ATONE 阅读(255) 评论(0) 推荐(0)

数仓及数据治理相关

摘要：文章参考：数据治理及元数据概念相关美团配送数据治理实践数据埋点相关读透华为数据之道数据标准规范参考数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？相关数据治理工具： nebula graph （图数据库）作为技术人员还是需要会拆自己的任务，给出工作量评估。给活可以，代阅读全文

posted @ 2020-12-04 11:30 RICH-ATONE 阅读(433) 评论(0) 推荐(0)

Hive动态分区详解及注意的问题

摘要：设置动静态混合分区报错： FAILED: SemanticException [Error 10094]: Line 1:60 Dynamic partition cannot be the parent of a static partition 'xxx' 注意： 1.当设置动静态分区混合的时候阅读全文

posted @ 2020-12-03 18:51 RICH-ATONE 阅读(1566) 评论(0) 推荐(0)

lateral view explode行转列的简单使用

摘要：示例数据： des字段： 6ab4c|6ab46|6ab47|6ab48|6ab49|6abc0|6abc1|6abc2|6abc3|6abc4|6abcc|6abc6|6abc7type字段： 6df4c|6df46|6df47|6df48|6df49|6dfc0|6dfc1|6dfc2|6dfc 阅读全文

posted @ 2020-12-03 10:50 RICH-ATONE 阅读(803) 评论(0) 推荐(0)

MachineLearning

摘要：机器学习模型训练全流程！数据从业者的自我修养阅读全文

posted @ 2020-12-01 15:00 RICH-ATONE 阅读(138) 评论(0) 推荐(0)

Garbage In Garbage Out

摘要：两篇不错的文章：林家翘先生提醒青年学者：千万不要Garbage in，garbage out 不重视建模，Garbage In Garbage Out而已！阅读全文

posted @ 2020-11-30 11:41 RICH-ATONE 阅读(275) 评论(0) 推荐(0)

JournalNode的作用

摘要：官方解释：参考：journalnode的作用阅读全文

posted @ 2020-11-27 15:38 RICH-ATONE 阅读(560) 评论(0) 推荐(0)

SecondaryNameNode 的作用

摘要： SecondaryNameNode 的作用阅读全文

posted @ 2020-11-27 14:52 RICH-ATONE 阅读(174) 评论(0) 推荐(0)

Hive Map数据长尾问题

摘要：个人实践（数据倾斜）： 1.当大表join小表时，将小表转化为内存即可，即开启小表优化。（set hive.auto.convert.join=true;） 2.尽量避免count(distinct xxx)的使用，如果存在重复行，则在子查询中先进行group by去重操作。（set hive. 阅读全文

posted @ 2020-11-25 18:37 RICH-ATONE 阅读(806) 评论(0) 推荐(0)