摘要: repartition和coalesce,终于分清了两者的区别和适用场景。repartition会重新洗牌数据,可以任意增加或减少分区数,适合数据分布不均、需要彻底重新分区的场景,但因为有 Shuffle,性能开销稍大;coalesce不会洗牌数据,只能减少分区数(强行增加分区数无效),直接合并现有 阅读全文
posted @ 2026-01-30 20:15 一如初见233 阅读(3) 评论(0) 推荐(0)