Questions张

2019年6月6日

摘要：查看日志：yarn logs -applicationId application_xxx 导入到外部文件 yarn logs -applicationId application_xxx >> temp.log 然后自己就可以用tail或者grep去查看日志了。阅读全文

posted @ 2019-06-06 11:28 Questions张阅读(1034) 评论(0) 推荐(0)

MySQL查询一张表有多少个字段

摘要： SQL如下阅读全文

posted @ 2019-06-06 10:35 Questions张阅读(5249) 评论(0) 推荐(0)

2019年6月1日

【异常】~/.bash_profile:source:44: no such file or directory: /usr/local/Cellar/nvm/0.34.0/nvm.sh

摘要： 1 异常信息 2 因为自己的/etc/profile有不存在的配置，注释掉即可阅读全文

posted @ 2019-06-01 16:46 Questions张阅读(2322) 评论(0) 推荐(0)

【异常】org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:

摘要： 1 Phoenix远程无法连接但是本地可以连接，详细异常 2 仔细观察异常信息，发现连接是localhost信息，如果是本机访问当然没有问题，但是远程访问肯定就有问题，知道问题所在，开始排查 3 语网友说是要设置dns，感觉太复杂了， https://blog.51cto.com/yaoyinjie 阅读全文

posted @ 2019-06-01 12:34 Questions张阅读(8028) 评论(0) 推荐(0)

【异常】org.apache.hadoop.hdfs.server.common.InconsistentFSStateException

摘要： 1 异常信息 2 原因以及解决思路  core-site.xml 与 hdfs-site.xml中的hdfs存储路径设置不一致，修改成一致的即可解决问题阅读全文

posted @ 2019-06-01 12:23 Questions张阅读(1900) 评论(0) 推荐(0)

【异常】org.apache.phoenix.exception.PhoenixIOException: SYSTEM:CATALOG

摘要： 1 详细异常信息 2 原因自己之前的hbase存储的文件路径是本地文件系统，修改为HDFS路径后，Phoenix找不到系统表 3 解决办法 a 先删除Zookeeper里面的hbase信息 b 重启hbase，重新初始化 c 重新启动Phoenix解决问题如果是生产环境，不能够重新初始化hbas 阅读全文

posted @ 2019-06-01 12:20 Questions张阅读(1641) 评论(0) 推荐(0)

2019年5月30日

【异常】org.apache.hadoop.hdfs.server.common.InconsistentFSStateException

摘要： 1 异常信息 2 原因因为core-site.xml 和 hdfs-site.xml配置了不一致的Hadoop.tmp.dir 目录，导致总是出现问题，删除掉core-site.xml中的tmp.dir配置，统一配置到hdfs-site.xml中 hdfs-site.xml中的dir配置阅读全文

posted @ 2019-05-30 21:16 Questions张阅读(745) 评论(0) 推荐(0)

2019年5月27日

yarn查看正在运行的任务列表

摘要： 1 yarn application -list 阅读全文

posted @ 2019-05-27 19:48 Questions张阅读(2023) 评论(0) 推荐(0)

2019年5月16日

Linux排查磁盘空间顺序解决空间不足问题

摘要： 1 先查看整个磁盘的情况 df -h 查看整台服务器的硬盘使用情况 cd / 进入根目录 du -sh * 查看每个文件夹的大小 2 再进入到对应的大空间文件夹，定位，大文件夹 3 使用ln -s 软连接，连接到空间大的硬盘例如 /var/log 空间太大，存储的，移动到wm1文件夹下面 sudo 阅读全文

posted @ 2019-05-16 11:27 Questions张阅读(650) 评论(0) 推荐(0)

2019年5月13日

CDH5.16.1的Yarn提交任务默认资源分配

摘要： 1 同时运行5个Spark任务的资源分配截图 2 每个任务占用3个Container 3个core以及4.5GB内存也就是说一个Container需要 1个core 以及 512MB的内存如果资源不够，可以提交任务时修改下内存分配，比如256MB，这样就可以提交更多的Spark任务到Yarn集群阅读全文

posted @ 2019-05-13 09:32 Questions张阅读(701) 评论(0) 推荐(0)

公告