首页 / 浏览问题 / 组件GIS / 问题详情
iobjects-spark中FeatureRDD输出时无法序列化
2EXP 2020年12月01日

使用产品:iobjects for spark 10.1.0  / iobjects java 10.1.0 操作系统:centos 7
数据类型:UDBX
问题详细描述:spark on yarn模式下,使用FeatureRDDProviderFacetory提供的save输出数据时,报错:

ERROR scheduler.TaskSetManager: Task 0.0 in stage 3.0 (TID 6) had a not serializable result: org.geotools.feature.simple.SimpleFeatureImpl
Serialization stack:
	- object not serializable (class: org.geotools.feature.simple.SimpleFeatureImpl

问题重现步骤:

1个回答

spark上下文需要配置序列化相关属性。

.config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
.config("spark.kryo.registrator", classOf[GeoMesaSparkKryoRegistrator].getName)
1,430EXP 2020年12月01日
...