首页 / 浏览问题 / 云GIS / 问题详情
超图FAQ:【iServer】在iServer中用分布式分析服务做叠加分析,一直执行失败,并且分布式分析日志中报“Missing an output location for shuffle 2”
64,468EXP 2023年09月22日
【iServer】在iServer中用分布式分析服务做叠加分析,一直执行失败,并且分布式分析日志中报“Missing an output location for shuffle 2”

1个回答

【问题原因】这种问题是由于有大量shuffle操作的时候,任务不断的失败,然后又重新执行,一直循环下去导致的,非常的耗时。 【解决方法】遇到这种问题可以通过提高spark的executor内存即可,具体是要修改iServersupportsparkconf目录下的spark-defaults.conf文件,将文件中的spark.executor.memory参数从默认的4g根据系统剩余的空闲内存调整到合适的大小即可。(如果没有spark-defaults.conf文件,可以将spark-defaults.conftemplate备份修改为spark-defaults.conf,然后手动将spark.executor.memory参数补充到文件中即可)
64,468EXP 2023年09月22日
热门文章
关注我们
...