【解决办法】关于使用倾斜入库崩溃后,如何排查大致原因,以及使用倾斜入库续生成的要求。
1.倾斜入库自11.1.0版本开始,入库时,会生成_tempCache文件夹。此文件夹在完成倾斜入库后会消失,在倾斜入库中途出现崩溃时,文件夹保留,可将其中生成的CacheBuild.log作为参考信息定位问题
2.如使用较老版本倾斜入库崩溃,或其他原因中止时, 没有scp文件产生,则无法使用倾斜入库续生成。
当倾斜入库处于读取数据时,scp暂未生成, 如此时软件中止,则无scp文件产生,无法使用续生成功能。
3.如何判断是哪一步出现的倾斜入库崩溃?_tempCache文件夹中CacheBuild.log日志文件:
1)MemoryStatus里看崩溃时,内存情况,如果数值是90%+,再排查下是否启动了多个软件,如果就只有当前桌面在运行,很大可能是内存涨崩了[图片]2)ProcessStages参数显示崩溃时,正在处理的阶段,由于是多线程,所以无法定位具体是哪个文件崩溃的。但可以定位崩溃的阶段。 *如倾斜入库前未经过倾斜预处理,则无法定位具体哪个文件造成崩溃,建议使用倾斜预处理检查异常数据;如已通过倾斜预处理后,倾斜入库崩溃,则考虑产品问题,上报缺陷。