2017年1月22日
摘要: 在编写spark测试应用时, 会用到sc.textFile(path, partition) 当配置为spark分布式集群时,当你读取本地文件作为输入时, 需要将文件存放在每台work节点上。 这时会有困惑,spark在读取文件时,是每台worker节点都把文件读入? 然后在进行分配? 会不会出现重 阅读全文
posted @ 2017-01-22 10:20 duanxz 阅读(14109) 评论(0) 推荐(1)
摘要: 在使用jacoco统计自动化代码覆盖率 jacoco统计自动化代码覆盖率1. 简介1.1. 什么是JacocoJacoco是一个开源的代码覆盖率工具,可以嵌入到Ant 、Maven中,并提供了EclEmma Eclipse插件,也可以使用JavaAgent技术监控Java程序。很多第三方的工具提供了 阅读全文
posted @ 2017-01-22 10:19 duanxz 阅读(4073) 评论(1) 推荐(0)