DataWorks这个任务报错后 一直处于低速的状态?进度一直是98.8% 能帮忙看一下吗?
https://workbench2-cn-hangzhou.data.aliyun.com/?defaultProjectId=64511&env=prod&taskId=1000969997658&userProjectId=64511#/runLog
DataWorks这个任务报错后 一直处于低速的状态?进度一直是98.8% 能帮忙看一下吗?[阿里云DataWorks]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
检查依赖关系:确认所有相关的表、分区都已经正确创建,并且所有的依赖都已经被正确的设置。检查正确的网络配置和防火墙
看到之前也有运行6个多小时的历史记录 写入模式为update 更新的数据多吗 目前看主要是写入比较慢 如果update的数据多 相对insert也会慢很多
当前任务配置了16并发 且资源组有多台机器 可以考虑开启分布式
集成这边查了下目前没有看出啥明显的原因
建议
1)确认一下 11.2日和11.6是不是都是主键冲突比较多 还是11.2是首次刷入 11.6冲突比较多
2)辛苦给写端 polar 同学提工单咨询看下 是否有异常情况 负载对比等 目前看是写入慢 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
你可以按照以下步骤尝试解决这个问题:
查看错误日志:首先检查一下任务的日志信息,看看是否有具体的错误提示。这可能有助于理解出现问题的原因。
检查依赖关系:确认所有相关的表、分区都已经正确创建,并且所有的依赖都已经被正确的设置。
优化查询语句:如果任务是一个SQL查询,那么尝试优化查询语句,减少查询的数据量或者提高查询效率。