摘要: Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一 阅读全文
posted @ 2019-01-07 16:41 Questions张 阅读(506) 评论(0) 推荐(0)
摘要: Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; at org.apach 阅读全文
posted @ 2018-12-20 16:15 Questions张 阅读(3415) 评论(0) 推荐(0)
摘要: 1 在当前分支,查看要合并的分支版本号 git log 需要合并的commit版本号 16b7df3aa1e64e00554a8a3c871e59db8cd87b16 2 切换到 指定分支 git checkout develop 3 执行合并指定commit版本到develop分支 get che 阅读全文
posted @ 2018-12-16 10:47 Questions张 阅读(532) 评论(0) 推荐(0)
摘要: 1 命令 git log --pretty=oneline 文件名 ➜ admin git:(feature/v1.5.0_20181202_group) git log --pretty=oneline AdminStudentServiceImpl.java 2 git show 版本号 ➜ a 阅读全文
posted @ 2018-12-16 10:15 Questions张 阅读(1045) 评论(0) 推荐(0)
摘要: [root@hdp2 /root]#hadoop checknative -a 18/12/09 00:31:19 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will 阅读全文
posted @ 2018-12-09 16:57 Questions张 阅读(1541) 评论(0) 推荐(0)
摘要: 保持网络畅通 或者 配置代理 能够访问cdh的仓库 https://repository.cloudera.com/artifactory/cloudera-repos/ 编译hadoop版本 hadoop-2.6.0-cdh5.7.0 jdk版本 1.7 java version "1.7.0_8 阅读全文
posted @ 2018-12-07 16:34 Questions张 阅读(500) 评论(0) 推荐(0)
摘要: 1 下载snappy包并编译 wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz tar xvfz snappy-1.1.3.tar.gz cd snappy-1.1.3/ ./confi 阅读全文
posted @ 2018-12-07 16:30 Questions张 阅读(596) 评论(0) 推荐(0)
摘要: shell-init: 获取当前目录时出错: getcwd: 无法访问父目录: 没有那个文件或目录chdir: 获取当前目录时出错: getcwd: 无法访问父目录: 没有那个文件或目录chdir: 获取当前目录时出错: getcwd: 无法访问父目录: 没有那个文件或目录Warning: /mnt 阅读全文
posted @ 2018-12-07 14:35 Questions张 阅读(6007) 评论(0) 推荐(0)
摘要: 1 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 版本 sqoop-1.4.6-cdh5.7.0 安装包 sqoop-1.4.6-cdh5.7.0.tar.gz 上传到hadoop服务器环境 2 解压软件 [root@hdp1 /mnt/software] 阅读全文
posted @ 2018-12-07 14:32 Questions张 阅读(201) 评论(0) 推荐(0)
摘要: 18/12/07 01:09:03 INFO mapreduce.ImportJobBase: Beginning import of staffException in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObjec 阅读全文
posted @ 2018-12-07 14:26 Questions张 阅读(3153) 评论(0) 推荐(0)