摘要：
workflow创建任务进入hue–Workflows–编辑器–workflow–创建 拖一个mapreduce作业（在页面靠近顶端有一排选项图标）到页面中间虚线框中Jar路径必须是hdfs中jar包路径 添加属性：key:mapred.output.dirvalue:${outpu... 阅读全文
posted @ 2016-03-15 21:07 ggzone 阅读(646) 评论(0) 推荐(0)
摘要：
Mac自带了的JDK6，安装在目录：/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/下。 JDK8则需要自己到Oracle官网下载安装对应的版本。自己安装的JDK默认路径为：/Library/Java/JavaVirtualMac... 阅读全文
posted @ 2016-03-15 21:02 ggzone 阅读(117) 评论(0) 推荐(0)
摘要：
Mac自带了的JDK6，安装在目录：/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/下。 JDK8则需要自己到Oracle官网下载安装对应的版本。自己安装的JDK默认路径为：/Library/Java/J... 阅读全文
posted @ 2016-03-15 21:02 ggzone 阅读(91) 评论(0) 推荐(0)
摘要：
看mr的运行显示：sqoop job可以获得的select max(xxx)结果，但是当mr开始时却显示大片错误，就是连接超时，和连接重置等问题， 最后去每个节点ping mysql的ip地址，发现root@hslave1:/opt/cm-5.5.1/etc# ping 10.121... 阅读全文
posted @ 2016-03-15 21:00 ggzone 阅读(221) 评论(0) 推荐(0)
摘要：
看mr的运行显示：sqoop job可以获得的select max(xxx)结果，但是当mr开始时却显示大片错误，就是连接超时，和连接重置等问题， 最后去每个节点ping mysql的ip地址，发现root@hslave1:/opt/cm-5.5.1/etc... 阅读全文
posted @ 2016-03-15 21:00 ggzone 阅读(149) 评论(0) 推荐(0)
摘要：
修改所有主机/etc/hosts 修改所有agent节点的/opt/cm-5.5.1/etc/cloudera-scm-agent/config.ini，中server的ip主节点启动cm server 从节点启动agent 阅读全文
posted @ 2016-03-15 20:54 ggzone 阅读(139) 评论(0) 推荐(0)
摘要：
修改所有主机/etc/hosts 修改所有agent节点的/opt/cm-5.5.1/etc/cloudera-scm-agent/config.ini，中server的ip主节点启动cm server 从节点启动agent 阅读全文
posted @ 2016-03-15 20:54 ggzone 阅读(114) 评论(0) 推荐(0)
摘要：
转自：http://blog.csdn.net/stark_summer/article/details/44174381 未实验最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了... 阅读全文
posted @ 2016-03-05 11:54 ggzone 阅读(153) 评论(0) 推荐(0)
摘要：
转自：http://blog.csdn.net/stark_summer/article/details/44174381 未实验最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都... 阅读全文
posted @ 2016-03-05 11:53 ggzone 阅读(201) 评论(0) 推荐(0)
摘要：
import java.sql.{DriverManager, ResultSet}import org.apache.spark._import org.apache.spark.streaming._import scala.util.Randomimp... 阅读全文
posted @ 2016-03-05 11:13 ggzone 阅读(265) 评论(0) 推荐(0)
浙公网安备 33010602011771号