【问题原因】这种问题是由于有大量shuffle操作的时候,任务不断的失败,然后又重新执行,一直循环下去导致的,非常的耗时。
【解决方法】遇到这种问题可以通过提高spark的executor内存即可,具体是要修改iServersupportsparkconf目录下的spark-defaults.conf文件,将文件中的spark.executor.memory参数从默认的4g根据系统剩余的空闲内存调整到合适的大小即可。(如果没有spark-defaults.conf文件,可以将spark-defaults.conftemplate备份修改为spark-defaults.conf,然后手动将spark.executor.memory参数补充到文件中即可)