Question

val mapModifyType = new util.HashMap[String, String]()
mapModifyType.put("Age", "int")

这里的类型都支持哪些类型，我如果有一列日期，date类型的话，数据格式又应该如何处理呢？时间戳，毫秒，秒，日期格式的话分割符又是怎样的？ 2020-07-14 14:32:07。因为看不到源码，不清楚具体的处理逻辑，有没有相关的说明文档呢，希望尽快得到解答，谢谢

Answer 1

csv格式读取参考部分示例代码参考

val params = new util.HashMap[String, java.io.Serializable]()
params.put(FeatureRDDProviderParams.InputFile.key, filePath)
params.put(FeatureRDDProviderParams.ProviderType.key, "csv")
params.put(FeatureRDDProviderParams.NumPartitions.key, 8)
params.put(CSVFeatureRDDProviderParams.FirstRowIsField.key, true)
params.put(CSVFeatureRDDProviderParams.Fields.key, fields)
val rdd = new CSVFeatureRDDProvider().rdd(new Configuration(), sc, params, new Query())

样例数据可以参考newyork的csv文件和meta文件。

csv格式要求数据坐标必须是经纬度的