2019年3月18日
大数据项目之_15_01&02
摘要： 一、项目背景二、项目架构三、项目实现3.1、数据生产3.1.1、数据结构3.1.2、编写代码3.1.3、打包测试3.2、数据采集/消费(存储)3.2.1、数据采集：采集实时产生的数据到 kafka 集群3.2.2、编写代码：数据消费（HBase）3.2.3、编写测试单元：范围查找数据（本方案已弃用， 阅读全文
posted @ 2019-03-18 15:14 黑泽君 阅读(1161) 评论(1) 推荐(1)
大数据项目之_15_帮助文档_优化技巧汇总_通用优化+Linux 优化+HDFS 优化+MapReduce 优化+HBase 优化+内存优化+JVM 优化+Zookeeper 优化
摘要： 一、通用优化1.1、NameNode 的元数据备份使用 SSD1.2、定时备份 NameNode 上的元数据1.3、为 NameNode 指定多个元数据目录1.4、设置 dfs.namenode.name.dir.restore 为 true1.5、NameNode 节点必须配置为 Raid1（镜像 阅读全文
posted @ 2019-03-18 11:49 黑泽君 阅读(634) 评论(0) 推荐(1)