DataWorks数据集成中的实时同步任务有类似bug的表现, 从mysql表到odps表,当mysql中新增一条数据时,odps会新增一条数据。但是当mysql删除这条数据时,odps还会继续新增这条删除的数据。请问这个符合预期吗?
DataWorks数据集成中的实时同步任务有类似bug的表现, 请问这个符合预期吗?[阿里云DataWorks]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
DataWorks数据集成中的实时同步任务有类似bug的表现, 从mysql表到odps表,当mysql中新增一条数据时,odps会新增一条数据。但是当mysql删除这条数据时,odps还会继续新增这条删除的数据。请问这个符合预期吗?
符合的 这个是额外加上的标识字段 https://help.aliyun.com/zh/dataworks/user-guide/fields-used-for-real-time-synchronization?spm=a2c4g.11186623.0.i8#concept-2367162,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
这种情况不符合预期,因为DataWorks 数据集成中的实时同步任务应当按照“全量 + 增量”的方式进行数据同步,即在全量同步的基础上,每次只增加新的数据或更新现有的数据,而不应再重复添加已经被删除的数据。请您检查您的配置是否正确,以及您的数据是否发生了异常情况,例如数据冲突或并发写入等问题