Question

对省级范围（约1100万条记录）进行分布式叠加分析（裁剪），结果的图斑数量（800万条）比原始数据少了约300万条，差异巨大。虽然总面积变化不大，但记录数的大量减少不符合预期。

Answer 1

【解决办法】1、Spark参数填写错误，导致分区失效。分区参数为spark.bdt.1st.index 2、数据的分区字段OBJECTID存在多个重复值，需切换新的分区字段，该字段要求值唯一，不重复。