七星6609

摘要： 无论是传统行业，还是互联网行业，数据可用性都是至关重要的，虽然现在已经步入大数据时代，nosql比较流行，但是作为数据持久化及事务性的关系型数据库依然是项目首选，比如mysql。 现在几乎所有的公司项目，不说可用性必须达到5个9，至少也要要求，数据库出现问题，不能丢失数据，能够快速响应异常处理，下面 阅读全文

摘要： 当我们在线上运行项目时，依赖很多jar包，有时候某个类的全限定名，在多个包中出现，而某个包中的类的方法没有，而且在类加载时，刚好加载了这个类，可能会报找不到方法，或者找不到类的异常，这种情况就可能是类冲突： 如： java.lang.NoSuchMethodError: com.google.com 阅读全文

摘要： 平时在处理一个或几个机器运行环境时，一个机器一个机器处理也能接受，但是如果是一批机器，几十或几百台，要是一台一台去安装环境，光是输入同一的命令，估计你自己都想吐，所有聪明的人会想一些偷懒的办法，确实可以找到一些省时省力的方法，比如写一个批量处理shell脚本，这几天在处理一批（八九十台）机器环境，找 阅读全文

摘要： 在进行数据交换时，如果主键不是整型，需要对字符串，或联合主键拼接为字符串，进行hash，再进行取模分片，使用的是String自带的hashCode()方法，本来是件很方便的事，但是有些字符串取hashCode竟然是负数，使得分片为负数，找不到对应的分片，我们先看一下String 生成hashCode 阅读全文

摘要： 在安装完hive之后（hadoop-2.10.0安装hive-2.3.6），已经迫不及待的想尝试一下hive的一些用法，我们最常用的就是直接输入hive回车，使用的是cli（Command Line Interface ）模式，下面介绍一下hive的使用以及一些常用的命令 1.首先查看hive帮助， 阅读全文

摘要： 公司建立数仓，hive是必不可少的，hive是建立在hadoop基础上的数据库，前面已经搭建起了hadoop高可用，要学习hive，先从搭建开始，下面梳理一下hive搭建过程 1.下载hive安装包 ，下载地址：https://hive.apache.org/downloads.html 找到自己h 阅读全文

摘要： mysql是我们最常用的开源的关系型数据库，mysql不同版本有时候安装的方式也不尽相同，下面以mysql5.7.28版本为例梳理一下安装细节： 1.下载mysql-5.7.28，URL：https://downloads.mysql.com/archives/community/ 我这里下载的是6 阅读全文

摘要： mysql是我们最常用的开源的关系型数据库，mysql不同版本有时候安装的方式也不尽相同，mysql-5.5和mysql-5.6安装大致相同，下面以mysql5.5.62版本为例梳理一下安装细节： 1.下载mysql5.5.62，URL：https://downloads.mysql.com/arc 阅读全文

摘要： 本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jn(journalnode)；3台zk(zookeeper) IP hostname 进程 192.168.30.141 s141 nn1（namenod 阅读全文

摘要： 本篇介绍在centos7中大家hadoop2.10完全分布式，首先准备4台机器：1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn（namenode） 192.168.30.142 s142 dn（datanode） 阅读全文

摘要： 作为开发人员，我们在选择一个框架或者工具时，我们都需要考虑些什么，我们不是头脑发热，一拍脑袋就它了，我们首先要认清这个框架或工具的作用是什么，能给我们带来什么样的好处，同时也要考虑带来什么样的负面结果，我们在使用时才能更好的扬其长避其短，kafka大家可能都不陌生，到底我们为什么选择kafka呢？ 阅读全文

摘要： 1.准备一台Vmware虚拟机，添加hdfs用户及用户组，配置网络见 https://chuna2.787528.xyz/qixing/p/11396835.html 在root用户下 添加hdfs用户，并设置密码： 将hdfs用户添加到hdfs用户组中 前面一个hdfs是组名，后面一个hdfs是用户名 阅读全文

摘要： 在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称url为下载工具。然而在使用crul下载https方式的文件时报错： 在访问https方式的URL时，一般需要证书才能访问，我们可以 阅读全文

摘要： 刚安装的centos7一般只有vi可以用，vim是没有安装的，如果我们想使用的话，需要我们自己去安装，可以使用如下命令进行安装： 安装之后就可以正常使用 阅读全文

摘要： 在Java开发是我们大多都使用集成开发环境，像idea和eclipse用的都比较多，在使用idea maven构建项目时，在修改pom.xml文件时，我们的项目jdk版本都会回退，还得每次去设置中修改jdk版本，如下： settings设置jdk版本： project structure设置jdk版 阅读全文