摘要：
为了可以用Eclipse编译基于Scala的Spark Project，需要安装sbt环境：OS X Yosemite 10.10.31.安装Xcode因为要在终端用macports安装sbt，而Xcode是macports安装的前提，所以要先去APPstore下载Xcode，并安装其command... 阅读全文
posted @ 2015-07-08 11:10
Captain_Lucky
阅读(5813)
评论(0)
推荐(0)
摘要：
分类： linux 2015-03-13 16:24 1572人阅读 评论(0) 收藏 举报linuxprofile关于登录linux时，/etc/profile、~/.bash_profile等几个文件的执行过程。在登录Linux时要执行文件的过程如下：在刚登录Linux时，首先启动 /etc/p... 阅读全文
posted @ 2015-07-07 13:57
Captain_Lucky
阅读(213)
评论(0)
推荐(0)
摘要：
在所有的NodeManager中，修改yarn-site.xml，为yarn.nodemanager.aux-services添加spark_shuffle值，并设置yarn.nodemanager.aux-services.spark_shuffle.class值为org.apache.spark... 阅读全文
posted @ 2015-06-30 16:11
Captain_Lucky
阅读(1145)
评论(0)
推荐(0)
摘要：
yarn logs -applicationId application_1435648583743_0001报错：tmp/logs/.../application_1435648583743_0001 does not exist解决：yarn-site.xml中添加：yarn.log-aggre... 阅读全文
posted @ 2015-06-30 15:25
Captain_Lucky
阅读(2494)
评论(0)
推荐(0)
摘要：
要保证spark on yarn的稳定性，避免报错，就必须保证正确的配置，尤其是yarn-site.xml。首先来理解一下yarn-site.xml各个参数的意义（引自董的博客）注：下面...中的hadoop001都是我为${yarn.resourcemanager.hostname}自定义的名字R... 阅读全文
posted @ 2015-06-30 14:12
Captain_Lucky
阅读(6381)
评论(0)
推荐(0)
摘要：
Spark SQL 或者Hive SQL在yarn-client模式下运行正常，但是在yarn-cluster模式下总是报 status failed错误，需要把$SPARK_HOME/lib/spark-1.4.0-yarn-shuffle.jar复制到$HADOOP_HOME/share/had... 阅读全文
posted @ 2015-06-30 13:26
Captain_Lucky
阅读(1379)
评论(1)
推荐(0)
摘要：
Hive需要在工程里添加的Jar包：hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar$HIVE_HOME/lib/hive-exec-0.11.0.jar $HIVE_HOME/lib/hive-jdbc-0.11.0.jar $HIV... 阅读全文
posted @ 2015-06-12 13:19
Captain_Lucky
阅读(424)
评论(0)
推荐(0)
摘要：
安装好hive后在bin路径下输入hive报错：[ERROR] Terminal initialization failed; falling back to unsupported原因是hadoop目录下存在老版本jline：/hadoop-2.5.2/share/hadoop/yarn/lib：... 阅读全文
posted @ 2015-06-10 14:39
Captain_Lucky
阅读(288)
评论(0)
推荐(0)
摘要：
1.Scala官网下载scala安装包后解压，路径随意。编辑/etc/bash_profile添加$SCALA_HOME并修改相应PATH2.SSH无密码登陆ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsassh-keygen表示生成秘钥；-t表示秘钥类型；-P用于提... 阅读全文
posted @ 2015-06-02 11:15
Captain_Lucky
阅读(1908)
评论(0)
推荐(0)
摘要：
本文节选自Martin Odersky，Lex Spoon和Bill Venners所著，Regular翻译的《Programming in Scala》的第三章。Scala是一种针对 JVM 将函数和面向对象技术组合在一起的编程语言。本节接着上一节的内容，继续介绍Scala编程中一些更先进的特征：... 阅读全文
posted @ 2015-05-28 11:08
Captain_Lucky
阅读(678)
评论(0)
推荐(0)
摘要：
/etc/bash_profile#Javaexport JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_65.jdk/Contents/Home export PATH=$PATH:$JAVA_HOME/binexport CLASSPAT... 阅读全文
posted @ 2015-05-26 10:35
Captain_Lucky
阅读(233)
评论(0)
推荐(0)
摘要：
Linux有线标识（上下箭头）不显示解决问题：修改/etc/NetworkManager/NetworkManager.conf[ifupdown]managed=ture即把false改为true.bash_profile和.bashrc的区别(如何设置生效)/etc/profile:此文件为系统... 阅读全文
posted @ 2015-05-25 16:45
Captain_Lucky
阅读(349)
评论(0)
推荐(0)
摘要：
全选、全部选 $('#checkAll').click(function(){ $('input[name="subBox"]').prop("checked",this.checked); });这里不能用$('input[name="subBox"]').attr("checked... 阅读全文
posted @ 2015-01-30 17:07
Captain_Lucky
阅读(181)
评论(0)
推荐(1)
摘要：
POI- the Java API for Microsoft Documents1.在Apache官网下载Apache最新poi版本：poi-bin-3.11-20141221.zip，解压；这里要注意是在binary distribution 下载，binary distribution是jar... 阅读全文
posted @ 2015-01-15 16:41
Captain_Lucky
阅读(7649)
评论(0)
推荐(0)
摘要：
1.static在程序中任何变量或者代码都是在编译时由系统自动分配内存来存储的，而所谓静态就是指在编译后所分配的内存会一直存在，直到程序退出内存才会释放这个空间，也就是只要程序在运行，那么这块内存就会一直存在。这样做有什么意义呢？在Java程序里面，所有的东西都是对象，而对象的抽象就是类，对于一个类... 阅读全文
posted @ 2015-01-15 15:31
Captain_Lucky
阅读(173)
评论(0)
推荐(0)
浙公网安备 33010602011771号