Question

执行全国范围（3亿×3亿）矢量数据叠加分析时，处理流程遭遇多个难题。初期表现为Spark部分任务长时间卡死无响应；解决后，在结果数据入库PostGIS阶段，又因磁盘I/O瓶颈导致数据库服务器崩溃。

Answer 1

【问题原因】1. Spark任务卡死：使用的iServer版本中，底层C++组件存在缺陷，导致大数据量分析时任务死循环。2. 数据库崩溃：结果数据量巨大（约700GB），写入时普通机械硬盘的I/O性能达到瓶颈，导致系统假死。 【解决办法】1. 升级组件：由研发提供修复了死循环缺陷的新版iServer组件库（bin目录）进行替换。2. 优化存储：将PostGIS数据库部署到高性能的固态硬盘（SSD）上，解决I/O瓶颈。最终分析任务成功完成，结果数据成功入库。