Question

【iObject for Spark】分批求交的分区数设置多少合适？

Answer 1

【解决办法】该参数将数据分成若干个相对独立的单元，一个单元即为一个分区，在进行求交操作时，就能够对数据进行分批并行计算，数据的分批计算次数=分区数/机器CPU核数。分区数的设置需要根据数据情况及机器内存情况而定，建议设置为源数据和叠加数据几何对象总数除以5千到10万的范围内，例如1千万对象的数据，分区数设置范围为100-2000。当分区数越少，数据分批计算的次数越少，执行时间越短，但内存消耗越多，当内存不够时，可以适量把分区数设置大些，这样每个任务要处理的数据量就会小一些，占用内存就会少些。