浏览问题
等待回复
精选文章
申请试用
资源中心
漏洞修复
注册
|
登录
SuperMap技术问答社区
我要
提问
智能客服
首页
/
浏览问题
/
组件GIS
/
问题详情
spark 2.4.0 bug
bojag
13EXP
2020年10月20日
BDT 使用spark 2.4.0 跑不起来,会卡在
13:15:37 INFO ENGINE: dataFileCache open start
13:15:39.635 INFO - Starting job: reduce at BoundsComputer.scala:87
希望有关的工程师可以给适配一下spark 2.4.0。
iobjects
spark
请
登录
或者
注册
后回答这个问题。
1个回答
信息不足,判断不了什么原因,推测是spark环境的问题或者是spark集群job调度问题,比如没有分配到资源,job卡住了一直在等待资源,所以没进行日志输出。因为如果是sdk接口问题,那么会在执行过程中抛出异常来,所以可判断不是sdk接口问题。spark2.4.0理论可以用,差异不大,我们常用推荐是spark2.3.2
杨兵
1,595EXP
2020年10月20日
不是啊,我就在开发环境里做的测试,maven引用spark jar包的版本2.3.2就能跑,2.2.0也能跑起来,换成2.4.0就跑不起来,数据源完全一样,wordcount在哪个版本都能跑起来,这就和资源关系不大了吧,希望你们也可以试一下,若有问题,还是希望能适配一下。
请
登录
或者
注册
后再添加评论。
智能推荐
相关问题
相关文章
推荐教程
spark组件加载Oracle数据库中的空间数据
iobjects spark依赖库问题
spark做空间数据汇聚方案
spark打开oracle数据库报错
iobjects spark 写出UDB数据失败
spark读取sde
Iobjects for spark 缺少依赖库。
ambari集群模式下部署iObjects for Spark
热门文章
查看更多>
关注我们
超图软件官网
SuperMap Online
地图慧
帮助中心
备案信息
技术资源中心
...