Question

请问isever运行同一个模型，为什么local单进程所用时间要比local多进程久呢，环境设置如下，请问应该如何优化多进程的环境参数设置呢：

Answer 1

符合预期，local是单进程，local多进程会启动多个进程执行，所以更快。

数据量越大和分析越复杂，local多进程模式越有优势、性能更好。

推荐spark.excutor.cores=2，spark.excutor.memory=4g，spark.default.parallelism=cpu数量即可；其他参数不是特别重要

Comments

不好意思，我说错了，是local单进程用时20秒，反而local多进程用时更久48秒，这属于正常情况吗?

---

在数据体量大、分析复杂的场景下多进程的优势更为明显；越是简单的分析反而单进程更快。是由于多进程的资源申请、调度、任务分配收集等逻辑处理流程更为复杂。（类似杀鸡焉用牛刀的道理）