咨询一下,同步任务写到hdfs目标端,来源端的字段类型是double,里面的字段值为空,写hdfs目标端的时候,目标字段类型是double,空值被判定为脏数据了,导致最后表中数据变少了,如何不进行这个判定或者让脏数据也能写到目标端?
请问同步任务到hdfs目标端,来源端字段类型double,如何不进行这个判定或者让脏数据写到目标端?[阿里云DataWorks]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
咨询一下,同步任务写到hdfs目标端,来源端的字段类型是double,里面的字段值为空,写hdfs目标端的时候,目标字段类型是double,空值被判定为脏数据了,导致最后表中数据变少了,如何不进行这个判定或者让脏数据也能写到目标端?
数据映射有个脏数据控制:用于定义脏数据阈值,及对任务的影响。 重要 当脏数据过多时,会影响同步任务的整体同步速度。
不配置时默认允许脏数据,即任务产生脏数据时不影响任务执行。
配置为0,表示不允许脏数据存在。如果同步过程中产生脏数据,任务将失败退出。
允许脏数据并设置其阈值时: 若产生的脏数据在阈值范围内,同步任务将忽略脏数据(即不会写入目标端),并正常执行。 若产生的脏数据超出阈值范围,同步任务将失败退出。
空字符串判定为脏数据是么,源端是什么数据库。mysql之类的可以用函数替换成0 再写入目标端。此答案整理自钉群“DataWorks交流群(答疑@机器人)”