Questions张

2019年6月8日

摘要：问题:HUE依赖Oozie 所以Oozie不能够卸载，好坑啊解决思路；重新装回来，但是不启动Oozie，节约一部分性能。阅读全文

posted @ 2019-06-08 20:26 Questions张阅读(328) 评论(0) 推荐(0)

【异常】Reason: Executor heartbeat timed out after 140927 ms

摘要： 1 详细异常 2 查询Stack Overflow里面问答 https://stackoverflow.com/questions/54036028/spark-executor-heartbeat-timed-out-after-x-ms 3 解决提交spark submit任务的时候，加大超时阅读全文

posted @ 2019-06-08 20:25 Questions张阅读(4831) 评论(2) 推荐(0)

2019年6月6日

Spark查询yarn任务日志

摘要：查看日志：yarn logs -applicationId application_xxx 导入到外部文件 yarn logs -applicationId application_xxx >> temp.log 然后自己就可以用tail或者grep去查看日志了。阅读全文

posted @ 2019-06-06 11:28 Questions张阅读(1031) 评论(0) 推荐(0)

MySQL查询一张表有多少个字段

摘要： SQL如下阅读全文

posted @ 2019-06-06 10:35 Questions张阅读(5248) 评论(0) 推荐(0)

2019年6月1日

【异常】~/.bash_profile:source:44: no such file or directory: /usr/local/Cellar/nvm/0.34.0/nvm.sh

摘要： 1 异常信息 2 因为自己的/etc/profile有不存在的配置，注释掉即可阅读全文

posted @ 2019-06-01 16:46 Questions张阅读(2319) 评论(0) 推荐(0)

【异常】org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:

摘要： 1 Phoenix远程无法连接但是本地可以连接，详细异常 2 仔细观察异常信息，发现连接是localhost信息，如果是本机访问当然没有问题，但是远程访问肯定就有问题，知道问题所在，开始排查 3 语网友说是要设置dns，感觉太复杂了， https://blog.51cto.com/yaoyinjie 阅读全文

posted @ 2019-06-01 12:34 Questions张阅读(8017) 评论(0) 推荐(0)

【异常】org.apache.hadoop.hdfs.server.common.InconsistentFSStateException

摘要： 1 异常信息 2 原因以及解决思路  core-site.xml 与 hdfs-site.xml中的hdfs存储路径设置不一致，修改成一致的即可解决问题阅读全文

posted @ 2019-06-01 12:23 Questions张阅读(1895) 评论(0) 推荐(0)

【异常】org.apache.phoenix.exception.PhoenixIOException: SYSTEM:CATALOG

摘要： 1 详细异常信息 2 原因自己之前的hbase存储的文件路径是本地文件系统，修改为HDFS路径后，Phoenix找不到系统表 3 解决办法 a 先删除Zookeeper里面的hbase信息 b 重启hbase，重新初始化 c 重新启动Phoenix解决问题如果是生产环境，不能够重新初始化hbas 阅读全文

posted @ 2019-06-01 12:20 Questions张阅读(1633) 评论(0) 推荐(0)

2019年5月30日

【异常】org.apache.hadoop.hdfs.server.common.InconsistentFSStateException

摘要： 1 异常信息 2 原因因为core-site.xml 和 hdfs-site.xml配置了不一致的Hadoop.tmp.dir 目录，导致总是出现问题，删除掉core-site.xml中的tmp.dir配置，统一配置到hdfs-site.xml中 hdfs-site.xml中的dir配置阅读全文

posted @ 2019-05-30 21:16 Questions张阅读(737) 评论(0) 推荐(0)

2019年5月27日

yarn查看正在运行的任务列表

摘要： 1 yarn application -list 阅读全文

posted @ 2019-05-27 19:48 Questions张阅读(2022) 评论(0) 推荐(0)

公告