2022年9月6日
摘要: Phoenix 二级索引 可以将全表扫描优化为范围扫描 全局索引 将全表扫描转化为范围扫描。 额外创建一个表,作为索引表。 当创建了全局索引,先去利用算法找所要查询的列, 默认的索引格式 创建全局索引时,会在HBase中建立一张新表。 索引数据和数据表是存放在不同的表中。 全局索引适用于多读少写的场 阅读全文
posted @ 2022-09-06 18:57 茶倌 阅读(303) 评论(0) 推荐(0)
  2022年8月22日
摘要: Java BIO NIO AIO理解 同步 异步 同步:发起一个调用后,被调用者未处理完请求之前,不返回 异步:发起一个调用后,立刻得到被调用者的回应表示已接收到请求,但是被调用者并没有返回结果。此时可以处理其他请求,被调用者依靠事件、回调等机制来通知调用者告知其结果。 阻塞 非阻塞 阻塞:发起请求 阅读全文
posted @ 2022-08-22 16:53 茶倌 阅读(56) 评论(0) 推荐(0)
  2022年8月18日
摘要: Java8 新特性 Java8最重要的两个改变,一个是Lambda表达式,另一个就是Stream API。 Lambda表达式 一段可以传递的代码 -> 更紧凑的代码风格 接口中一定要只有一个抽象方法才可以这么写,成为函数式接口 这也是java8在接口中引入静态和默认方法的原因 本质:作为接口的实例 阅读全文
posted @ 2022-08-18 21:24 茶倌 阅读(102) 评论(0) 推荐(0)
  2022年8月14日
摘要: Flink总结 从头儿过一遍书,做了些摘要。SQL那里还没仔细复习。 一、初始Flink 核心目标:数据流上的有状态计算 具体定位:以内存执行速度(速度快)和任意规模来执行计算(可扩展性强) -> 小松鼠快速灵巧 有状态的流处理可用于许多不同场景: 事件驱动型应用:以Kafka为代表的消息队列几乎都 阅读全文
posted @ 2022-08-14 20:20 茶倌 阅读(251) 评论(0) 推荐(0)
  2022年8月3日
摘要: 十大排序 import java.util.ArrayList; import java.util.Collections; import java.util.List; import java.util.Random; /** * @author Ogleede * @Description * 阅读全文
posted @ 2022-08-03 18:06 茶倌 阅读(70) 评论(0) 推荐(0)
  2022年8月2日
摘要: 从芒果分装角度-看MapReduce流程 背景 有一芒果产销基地,园区内有芒果种植园(产), 芒果分装库(装),芒果销路(销)。 芒果种植园即HDFS中的文件,这个种植园规模很大,有不同的山头,假设一个山头一个分区。 芒果的品质不同、个头不同、成熟度不同,价格和可以销往的地点不同。 芒果产销基地需要 阅读全文
posted @ 2022-08-02 16:45 茶倌 阅读(82) 评论(0) 推荐(0)
  2022年7月31日
摘要: HDFS HDFS概述 ​ HDFS是Hadoop 分布式文件系统,可以运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。HDFS具有高度容错、高吞吐量、容易扩展、高可靠性等特征。 ​ HDFS是一个主/从体系结构的分布式系统,拥有1个Namenode和多个Datanodes,用 阅读全文
posted @ 2022-07-31 13:24 茶倌 阅读(697) 评论(0) 推荐(0)
  2022年7月29日
摘要: 配置 写的挺好,包含了spark配置,hive on spark 以及 spark on hive Hive on Spark 配置 DBeaver连接Hive Hive启动脚本 DBeaver需要启动hiveserver2等组件。 HQL 50 题 刷题链接 阅读全文
posted @ 2022-07-29 13:11 茶倌 阅读(292) 评论(0) 推荐(0)
  2022年7月26日
摘要: https://blog.csdn.net/weixin_44374374/article/details/123957815 阅读全文
posted @ 2022-07-26 10:52 茶倌 阅读(34) 评论(0) 推荐(0)
  2022年7月25日
摘要: HBase数据结构、存储结构 一直都说HBase是稀疏的,列式数据库,但是一直不太明白,HBase的列式存储是怎么编排的。 稀疏:没有值的列不存储。 列式:对于相同row key的数据,数据按列族分块,每个块内是按照时间戳降序、且列存的。 官方文档:可以把HBase的表想象成一个多维的Map,列族是 阅读全文
posted @ 2022-07-25 14:31 茶倌 阅读(148) 评论(0) 推荐(0)