dairui130

hive的 order by & distribute by & cluter by

摘要：我们应该都清楚order by 的含义：根据某个字段对输出的数据排序，因为只有一个reducer，所以查询效率较慢。那么hive中，另外两个排序，distribute by和cluster by的含义是什么呢？ distribute by 分区排序直接上例子，hive中有张工资表：salary 阅读全文

posted @ 2019-03-03 17:17 dairui130 阅读(323) 评论(0) 推荐(0)

什么是码表，什么是维度表？

摘要：整理业务库的库表字段和字段含义的时候，遇到了码表的概念，码表是什么，和维度表又是什么关系呢？首先，码表没有明确的定义。百度搜索码表，可以看到和数据处理相关的解释是：码表是编码表（或代码表）的简称。编码表：是一种代码说明表格。用来帮助用户明确无解释数据和字符代码的含义。例如：性别码表的阅读全文

posted @ 2019-03-03 15:20 dairui130 阅读(11178) 评论(0) 推荐(0)

Spark streaming java代码

摘要：待做阅读全文

posted @ 2019-03-03 11:15 dairui130 阅读(138) 评论(0) 推荐(0)

Mysql分库分表

摘要：待做阅读全文

posted @ 2019-03-03 11:14 dairui130 阅读(123) 评论(0) 推荐(0)

Hive ORC + SNAPPY

摘要： Hive orc 格式 + snappy 压缩是比较常用的存储加压缩格式。今天处理下面的场景时，解决了一些问题，记录下来： flume消费kafka的数据实时写入hdfs，通过创建分区表，t + 1 时，需要看到昨天的数据： flume 通过snappy 将数据写入hdfs，可以通过在fliume 阅读全文

posted @ 2019-03-01 19:02 dairui130 阅读(6047) 评论(0) 推荐(0)

记一次老板培训心得

摘要：因为这是我第一次在老总的公司培训上，听到这么多次，孝顺。人心中最柔软的地方，往往却是最坚强的。孝顺，直击我心中最柔软的地方。今天起，也成为了我最坚强的地方。老板是搞技术的，这家公司的第一波机器，系统，h5，css全是他完成的。他这个人简单，执行力强，对技术很有好奇心。现在他做产品，做ceo也阅读全文

posted @ 2019-02-28 19:21 dairui130 阅读(318) 评论(0) 推荐(1)

Kafka auto.offset.reset

摘要：要从头消费kafka的数据，可以通过以下参数： Kafka auto.offset.reset = earliest 阅读全文

posted @ 2019-02-28 19:08 dairui130 阅读(347) 评论(0) 推荐(0)

Flume source 支持的type类型

摘要： Flume是一个分布式的高可用的消费组件。通过修改配置文件，可以启动不同的agent处理不同来源的数据。 agent包含source，channel，sink三个组件。今天我们学习下source的type。 1. spooldir 向指定目录中传输文件，发现flume收集到了该文件，将文件中的每一行阅读全文

posted @ 2019-02-28 11:42 dairui130 阅读(1804) 评论(0) 推荐(0)

mysql变更数据的捕获和入库

摘要：问题：涉及状态的信息，mysql中是update的，缺少中间状态的记录。数据分析中需要这部分数据。思路：后端服务通过监控某张表的某个字段，根据mysql的binlog文件，还原数据，发送到kafka。我们消费kafka中的数据，最终在hive的ods层形成表更数据表。方案设计：方案4中需要注意阅读全文

posted @ 2019-02-27 21:15 dairui130 阅读(349) 评论(0) 推荐(0)

excel冻结窗格

摘要：编辑excel时冻结窗格可以大大增加可读性。每个sheet都应该加上。第一份工作的时候，上司比较严格，还因为这个挨过几次骂。所以这个技巧大家一定要掌握方法很简单：选中首行：视图 -- 冻结窗格冻结窗格：选中某个单元格 -- 视图 -- 冻结窗格阅读全文

posted @ 2019-02-27 19:56 dairui130 阅读(159) 评论(0) 推荐(0)

导航

公告