2018 年 6月 19 日随笔档案 - duanxz

2018年6月19日

Sqoop-1.4.6安装部署及详细使用介绍

摘要：之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。 Sqoop1安装配置比较简单一、安装部署（1）、下载安装包下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar. 阅读全文

posted @ 2018-06-19 22:58 duanxz 阅读(5912) 评论(0) 推荐(0)

用sqoop将mysql的数据导入到hive表

摘要：一、先将mysql一张表的数据用sqoop导入到hdfs 1.1、先在mysql中准备一张测试用的表下面将 user_info表中的前100条数据导导出来只要id user_name和 age 这3个字段，数据存在hdfs 目录 /tmp/sqoop/user_info下。阅读全文

posted @ 2018-06-19 22:57 duanxz 阅读(392) 评论(0) 推荐(0)

如何修改CSV文件的分隔符

摘要： Excel转成CSV文件，在Windows下默认的列表分隔符是逗号（，）。在某些情况下，我们可能需要更改列表分隔符，如某个单元格内容包含逗号，而这可能导致使用它的程序出错，这样就需要更改列表分隔符；再比如Mac OS X下CSV文件的列表分隔符是分号（；）,而且还不方便修改，为了统一两个系统的列表阅读全文

posted @ 2018-06-19 19:30 duanxz 阅读(7314) 评论(0) 推荐(0)

hive命令的3种调用方式

摘要： hive-script.sql类似于script一样，直接写查询命令就行例如： [root@cloud4 shell]# vi hive_script3.sql select * from t1; select count(*) from t1; 不进入交互模式，执行一个hive script 这阅读全文

posted @ 2018-06-19 09:25 duanxz 阅读(547) 评论(0) 推荐(0)