七星6609

摘要： 在使用git提交项目时，有时候会误提交一下文件，比如：*.iml，*.project，*.settings，.idea/*等文件，有时候这些不需要提交的文件可以加入到.gitignore，在提交的时候可以忽略这些文件，但是有时候我们忘记，就会出现误提交一些文件，这时就需要我们删除误提交的文件，下面是 阅读全文

摘要： 在java中使用https访问数据时报异常： 需要使用keytool工具，将对应域名的证书导入到jdk的cacerts中，这个证书可以是*.crt，*.cer等证书 cacerts包含了很多CA证书，位置在Java的安装目录： Java\jdk1.8.0_181\jre\lib\security\c 阅读全文

摘要： 1.安装Nginx编译所依赖的包 正常centos中可以使用yum安装一下依赖包： 依赖包说明： 1、编译依赖 gcc 环境，所以需要：gcc gcc-c++; 2、PCRE(Perl Compatible Regular Expressions) 是一个Perl库，包括 perl 兼容的正则表达式 阅读全文

摘要： 在使用parquet-hadoop.jar包解析parquet文件时，遇到decimal类型的数据为乱码，具体解决方法如下： 使用parquet-Hadoop.jar解析httpfs服务提供的parquet文件，代码如下： parquet文件timestamp类型实际为INT96类型，decimal 阅读全文

摘要： 最近有一个需求，要求使用httpfs读取数据，一开始看到httpfs这个词，第一感觉是不是多了个f，是不是https，后来百度一下，其实不然。 httpfs其实是使用http协议访问hdfs文件系统： HttpFS是一台提供REST HTTP网关的服务器，该网关支持所有HDFS文件系统操作（读取和写 阅读全文

摘要： 1.读取hbase快照数据时报UnsatisfiedLinkError: no gplcompression in java.library.path错： 在使用java 命令执行时可加上 -Djava.library.path=/opt/hadoop/lib/native，就没有此报错 2.解决完 阅读全文

摘要： 1.在idea中选择Edit Configurations，添加Remote远程连接，如下图： 设置名称为：workerDebug，Host：为远程要连接的服务器地址，Port：为debug时的端口号 在idea中配置完远程连接后，复制：-agentlib:jdwp=transport=dt_soc 阅读全文

摘要： 在调试代码时出现Error:java: Compilation failed: internal java compiler error异常 是由于java版本不一致引起的 解决问题就很简单了，把Java版本调成一致就可以了 阅读全文

摘要： 根据快照名称读取hbase快照中的数据，在网上查了好多资料，很少有资料能够给出清晰的方案，根据自己的摸索终于实现，现将代码贴出，希望能给大家有所帮助： 如果读取快照数据时，数据列簇使用的是lzo压缩的话，可能会遇到lzo解压缩问题，可以参照：hbase读取快照数据-lzo压缩遇到的问题 阅读全文

摘要： 当我们需要测试某个功能时，需要在linux环境下执行某个类的main方法来测试 可以使用java -cp xxx.jar com.MyClass来执行某个类 其中com.Test为test.jar中的某个类，lib/*为test.jar依赖的jar包， -cp 和 -classpath 一样，是指定 阅读全文

摘要： Hadoop3.1.2 + Hbase2.2.0 设置lzo压缩算法： 写在前面，在配置hbase使用lzo算法时，在网上搜了很多文章，一般都是比较老的文章，一是版本低，二是一般都是使用hadoop-gpl-compression，hadoop-gpl-compression是一个比较老的依赖包，现 阅读全文

摘要： 1.启动hbase后，在hbase shell中执行 status和create时报错 2019-09-02 09:43:21,534 WARN [master/s128:16000:becomeActiveMaster] master.HMaster: hbase:meta,,1.15882307 阅读全文

摘要： Hadoop HA 搭建hbase启动时只有HMaster起来，HRegionServer没有起来 查看报错信息为： 由于无法找到mycluster 解决方法： 将hadoop/etc/中的 core-site.xml和hdfs-site.xml 复制到hbase的conf目录下，启动hbase就好 阅读全文

摘要： 通过 http://s128:16010 无法访问Hbase Web端 查看master日志，有报错： 解决方法： 在hbase-site.xml中添加如下配置： 阅读全文

摘要： 1.xrsync.sh脚本 需要安装rsync远程数据同步工具 其中i代表服务器部分尾号名称，服务器名称为s202,s203,s204等 使用时需要将xrsync.sh放到/usr/local/bin下，在任何目录中都可以使用 例：将hbase-2.2.0同步到其它机器的 /opt/ 目录下 阅读全文