2016年7月7日
通过分区(Partitioning)提高Spark的运行性能
摘要： 在Sortable公司，很多数据处理的工作都是使用Spark完成的。在使用Spark的过程中他们发现了一个能够提高Sparkjob性能的一个技巧，也就是修改数据的分区数，本文将举个例子并详细地介绍如何做到的。 查找质数 比如我们需要从2到2000000之间寻找所有的质数。我们很自然地会想到先找到所有 阅读全文
posted @ 2016-07-07 11:27 XGogo 阅读(771) 评论(0) 推荐(0)