2025.12.15总结
今天大数据测验,分为数据清洗,数据分析,数据展示三个部分
数据清洗用python清洗的,速度快,然后编写容易,然后将清洗的数据上传到虚拟机,使用hive去分析,最后将结果导出到mysql,最后使用echarm图表可视化。
因为数据量小,2000左右的数据,导致用大数据的技术,比不用还要慢,(也可能是配置的问题)
今天大数据测验,分为数据清洗,数据分析,数据展示三个部分
数据清洗用python清洗的,速度快,然后编写容易,然后将清洗的数据上传到虚拟机,使用hive去分析,最后将结果导出到mysql,最后使用echarm图表可视化。
因为数据量小,2000左右的数据,导致用大数据的技术,比不用还要慢,(也可能是配置的问题)