摘要：
错误： 解决办法： 在hbase RegionServer的hbase-site.xml添加如下配置 阅读全文
posted @ 2019-08-30 10:36
北漂-boy
阅读(762)
评论(0)
推荐(0)
摘要：
解决方法1 错误如下 错误分析：从错误的信息来看，是关于协处理器的错误，可能是region或者表没有使用协处理器。 web界面查看表信息如下 从web信息来看，确实这张表没有相关协处理器的信息，正常通过phoenix创建表以后，都会自带phoenix相关的协处理器信息，如上面红框圈起来的地方，上图有 阅读全文
posted @ 2019-08-29 18:13
北漂-boy
阅读(1921)
评论(0)
推荐(0)
摘要：
在使用查询时，使用到了group by 分组查询，报如下错误： 报这个错是由于sql_mode 使用了ONLY_FULL_GROUP_BY 解决办法： 阅读全文
posted @ 2019-08-16 11:45
北漂-boy
阅读(303)
评论(0)
推荐(0)
摘要：
启动或者停止hadoop的时候，信息如下： Stopping namenodes on [hadoop1 hadoop2] The authenticity of host 'hadoop2 (172.17.0.10)' can't be established. ECDSA key fingerp 阅读全文
posted @ 2019-08-07 12:24
北漂-boy
阅读(830)
评论(0)
推荐(0)
摘要：
问题现象：当前集群跑hadoop的时候，，任务失败，但是跑任务的容器没有正常退出，显示一大堆的YarcChild进程，，more /proc/进程/status 查看其状态，进程为D(disk sleep)，当使用ps 查看所有D进程状态的时候，执行ps这个命令的进程也变成了D状态，，尬的一批。所谓 阅读全文
posted @ 2019-08-01 15:01
北漂-boy
阅读(2783)
评论(1)
推荐(0)
摘要：
在ubuntu执行python3的时候，出现 UnicodeEncodeError: 'latin-1' codec can't encode characters in position 10-18: ordinal not in range(256) 这是由于当前的操作系统乱码问题导致的。 解决 阅读全文
posted @ 2019-07-29 16:15
北漂-boy
阅读(1789)
评论(0)
推荐(0)
摘要：
简介 ssh是一个协议，OpenSSH是其中一个开源实现，paramiko是Python的一个库，实现了SSHv2协议(底层使用cryptography)。 有了Paramiko以后，我们就可以在Python代码中直接使用SSH协议对远程服务器执行操作，而不是通过ssh命令对远程服务器进行操作。 由 阅读全文
posted @ 2019-07-24 18:15
北漂-boy
阅读(2201)
评论(0)
推荐(0)
摘要：
简介 Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中，但是不能将hbase、hive的数 阅读全文
posted @ 2019-07-20 22:13
北漂-boy
阅读(816)
评论(0)
推荐(0)
摘要：
压缩的好处 文件压缩的好处：减少文件存储锁需要的磁盘空间，加速数据在网络和磁盘上的传输。 常见的压缩格式 压缩格式 工具 算法 文件扩展名 是否可以切分 DELATE 无 DEFLATE .delate 否 Gzip gzip DEFLATE .gz 否 bzip2 bzip2 bzip2 .bz2 阅读全文
posted @ 2019-07-19 13:52
北漂-boy
阅读(633)
评论(0)
推荐(0)
摘要：
HDFS中NameNode工作机制1.NameNode的主要功能（1）负责客户端请求的响应； （2）负责元数据的管理。 2.元数据管理namenode对数据管理采用了三种存储形式： （1）内存元数据； （2）磁盘元数据镜像文件； （3）数据操作日志文件（可以通过日志运算出元数据）。 2.1元数据的存 阅读全文
posted @ 2019-07-18 15:42
北漂-boy
阅读(4921)
评论(0)
推荐(0)
摘要：
问题现象 问题描述 公司业务程序需求每30分钟mv 一万多个文件，如果三十分钟之内当前的文件内容没有全部移动，程序报错并且停止。 分析 通过分析，发现在启动balancer和不启动balancer的情况下，namenode的处理能力差别巨大。不启动balancer，一万多个文件不到20秒全部移动成功 阅读全文
posted @ 2019-07-18 11:10
北漂-boy
阅读(2525)
评论(0)
推荐(0)
摘要：
机架感知脚本 使用python3编写机架感知脚本，报存到topology.py，给予执行权限 import sys import os DEFAULT_RACK="/default-rack" HADOOP_CONF_DIR = os.environ['HADOOP_CONF_DIR'] FILE= 阅读全文
posted @ 2019-07-17 18:38
北漂-boy
阅读(648)
评论(0)
推荐(0)
摘要：
一、Service RPC port NameNode默认使用8020端口侦听所有的RPC请求（HDP版本），包括客户端数据请求，DataNode心跳和block上报，ZKFC模块监控检查和切换控制。当集群规模越和RPC请求来越大时，RPC请求响应时间也变得越来越长。 NameNode也给DataN 阅读全文
posted @ 2019-07-17 09:19
北漂-boy
阅读(2343)
评论(0)
推荐(0)
摘要：
hadoop版本：2.9.2 1、带宽的设置参数： dfs.datanode.balance.bandwidthPerSec 默认值 10m 2、datanode之间数据块的传输线程大小：dfs.datanode.max.transfer.threads 默认值4096 3、修改dfs.datano 阅读全文
posted @ 2019-07-12 18:06
北漂-boy
阅读(2185)
评论(0)
推荐(0)
摘要：
Linux修改时区的正确方法 CentOS和Ubuntu的时区文件是/etc/localtime，但是在CentOS7以后localtime以及变成了一个链接文件 [root@centos7 ~]# ll /etc/localtime lrwxrwxrwx 1 root root 33 Oct 12 阅读全文
posted @ 2019-07-12 17:46
北漂-boy
阅读(4266)
评论(0)
推荐(1)
摘要：
编写一个程序，基本要素包括：标识符、关键字、注释、修饰符、块、语句、类和main()方法。 标识符 概念 在Java语言中：标识符是用来给类、对象、方法、变量、接口和自定义数据类型命名的。 标识符组成 Java标识符由数字，字母和下划线（_），美元符号（$）或人民币符号（￥）组成。在Java中是区分 阅读全文
posted @ 2019-07-12 15:42
北漂-boy
阅读(513)
评论(0)
推荐(0)
摘要：
Hello World程序 在编程语言的世界里，第一个编程语言估计就是输出Hello World了吧。 /** * 编写第一个Java程序，输出Hello World！ * @author LJS * */ public class HelloWorld { //入口程序 public static 阅读全文
posted @ 2019-07-12 14:50
北漂-boy
阅读(266)
评论(0)
推荐(0)
摘要：
set hive.mapred.mode=strict; //设置hive执行模式，默认为nonstrict(非严格模式),这里设置为严格模式 set hiveconf:hive.cli.print.current.db=true; //显示当前数据库的名称， 默认是false，这里开启 set hive.cli.print.header=true; 查询表数据的... 阅读全文
posted @ 2019-07-10 17:23
北漂-boy
阅读(438)
评论(0)
推荐(0)
摘要：
1、namenode 如何判断datanode节点是否宕机？ 先决条件： datanode每隔一段时间像namenode汇报，汇报的信息有两点 (1)自身datanode的状态信息； (2)自身datanode所持有的所有的数据块的信息。 如果namenode连续十次没有收到datanode的汇报， 阅读全文
posted @ 2019-07-10 17:22
北漂-boy
阅读(1511)
评论(0)
推荐(0)
摘要：
hadoop 之hdfs数据块修复方法： 1、手动修复 hdfs fsck / #检查集群的健康状态 hdfs debug recoverLease -path 文件位置 -retries 重试次数 #修复指定的hdfs数据块。也就是关闭打开的文件。 检查坏块： hadoop fsck /user 阅读全文
posted @ 2019-07-10 17:18
北漂-boy
阅读(4570)
评论(0)
推荐(0)
摘要：
ssh链接云主机： ssh [email protected] 报错：THE AUTHENTICITY OF HOST XX CAN’T BE ESTABLISHED 解决办法： ssh -o StrictHostKeyChecking=no [email protected] 输入密码，链接成功 与ssh中Host key verification failed问题一样... 阅读全文
posted @ 2019-07-10 17:10
北漂-boy
阅读(403)
评论(0)
推荐(0)
摘要：
sudo debconf-set-selections <<< 'mysql-server mysql-server/root_password password your_password' sudo debconf-set-selections <<< 'mysql-server mysql-server/root_password_again password your_password'... 阅读全文
posted @ 2019-07-10 17:04
北漂-boy
阅读(516)
评论(0)
推荐(0)
摘要：
1、docker 固定网络ip地址，启动 Docker的时候，用 --network 参数，可以指定网络类型 eg：docker run -itd --name test1 --network bridge --ip 172.17.0.10 centos:latest /bin/bash （1）bridge：桥接网络 默认情况下启动的Docker容器，都是使用 bridge，Docker安装时创... 阅读全文
posted @ 2019-07-10 17:00
北漂-boy
阅读(431)
评论(0)
推荐(0)
摘要：
mysql常用命令： 1.登录MySQL mysql -h主机 -u用户名 -p密码 2. 查看MySQL数据库的字符集 show variables like '%char%'; 3.查看MySQL数据表(table)的字符集 show table status from 数据库名 like '%表名%'; 4 . 查看MySQL数据列(columns)的字符集 show full colu... 阅读全文
posted @ 2019-07-10 16:58
北漂-boy
阅读(316)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-07-10 16:51
北漂-boy
阅读(1)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-07-10 16:50
北漂-boy
阅读(4)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-07-10 16:48
北漂-boy
阅读(0)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-07-10 16:46
北漂-boy
阅读(0)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-07-10 16:43
北漂-boy
阅读(0)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-07-10 16:35
北漂-boy
阅读(1)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-07-10 16:34
北漂-boy
阅读(3)
评论(0)
推荐(0)
摘要：
<property> <name>dfs.nameservices</name> <value>EDPI</value> </property> <property> <name>dfs.ha.namenodes.EDPI</name> <value>nna,nns</value> </proper 阅读全文
posted @ 2019-07-10 16:32
北漂-boy
阅读(333)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-07-10 16:30
北漂-boy
阅读(2)
评论(0)
推荐(0)
摘要：
错误1：org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired 错误2：Reported time is too far out of sync with mast 阅读全文
posted @ 2019-07-10 16:00
北漂-boy
阅读(2881)
评论(0)
推荐(0)
摘要：
错误记录与分析 错误1：java.net.BindException: Port in use: localhost:0 错误2：datanode节点磁盘空间爆满，导致datanode启动不能启动 错误3：java.io.IOException: Premature EOF from inputSt 阅读全文
posted @ 2019-07-10 15:54
北漂-boy
阅读(12641)
评论(0)
推荐(0)
摘要：
swap分区关闭 准备调整Linux下的swap分区的使用率。 在Linux下执行 swapoff -a -v报如下错误： swapoff: /dev/mapper/cryptswap1: swapoff failed: Cannot allocate memory 上述错误原因分析： 从上述的信息 阅读全文
posted @ 2019-07-10 14:23
北漂-boy
阅读(8238)
评论(0)
推荐(0)
摘要：
前提：HDFS fsck确保hbase根目录下文件没有损坏丢失，如果有，则先进行corrupt block移除。 切记：一定要在所有Region都上线之后再修复，否则修复之后可能出现重复Region。 步骤1. hbase hbck 检查输出所有ERROR信息，每个ERROR都会说明错误信息。 步骤2. hbase hbck -fixTableOrphans 先修复tableinfo缺失问题，... 阅读全文
posted @ 2019-07-10 13:56
北漂-boy
阅读(2115)
评论(0)
推荐(0)
摘要：
线程的概念 现在的操作系统几乎都支持运行多个任务，而在操作系统内部，一个任务往往代表的执行的某一个程序，也就是运行中的程序，运行的程序是一个动态的概念，也就是所说的进程，而在进程内部，往往有许多顺序执行流，这些顺序执行流就是线程。 线程的创建 Python提供了 _thread 和 threadin 阅读全文
posted @ 2019-07-01 21:59
北漂-boy
阅读(784)
评论(0)
推荐(0)
摘要：
定义 在某些情况下，一个类的对象是有限且固定的，比如季节类，它只有 4 个对象；再比如行星类，目前只有 8 个对象。这种实例有限且固定的类，在 Python 中被称为枚举类。程序有两种方式来定义枚举类： 使用 使用 Enum 列出多个枚举值来创建枚举类 如下程序示范了直接使用 Enum 列出多个枚举 阅读全文
posted @ 2019-06-28 17:51
北漂-boy
阅读(3857)
评论(0)
推荐(0)
摘要：
如果希望创建某一批类全部具有某种特征，则可通过 metaclass 来实现。使用 metaclass 可以在创建类时动态修改类定义。为了使用 metaclass 动态修改类定义，程序需要先定义 metaclass, metaclass 应该继承 type 类，并重写 __new__() 方法。下面程 阅读全文
posted @ 2019-06-28 16:24
北漂-boy
阅读(3969)
评论(1)
推荐(0)
浙公网安备 33010602011771号