tongchenkeji 发表于:2023-12-10 19:31:480次点击 已关注取消关注 关注 私信 DataWorks已改参数,但是修改是对开发环境生效,对生产环境没有效果?[阿里云] 暂停朗读为您朗读 DataWorks已改参数,但是修改是对开发环境生效,对生产环境没有效果? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 阿里云# DataWorks3343# 大数据开发治理平台 DataWorks3946
vohelonAM 2023-12-21 8:01:55 1 Merge任务运行失败https://help.aliyun.com/zh/dataworks/user-guide/troubleshoot-issues-of-a-merge-node-generated-by-a-one-click-real-time-synchronization-to-maxcompute-solution?spm=a2c4g.11186623.0.i139 Base table partition not exists.原因:前一日的全量分区没有产生,一般较少出现,可能场景:手动补数据运行Merge实例,但前一日实例没有运行,确保前一日Merge实例正常运行完成。首次运行时离线全量或者加表后全量同步未执行完成,如果存在同步失败的表,解决方案中通过先减表再加表的方式重新初始化该表。如果是其他原因,可能是触发了不支持的场景,请联系值班同学进一步排查。Run job failed,instance:XXXX.原因:有ODPS SQL子任务运行失败,搜索instanceId,定位到错误日志,通常日志类似如下:Instance: XXX, Status: FAILED result: ODPS-0110061: Failed to run ddltask – Persist ddl plans failed. , Logview: http://Logview.odps.aliyun.com/Logview/?h=http://service.ap-southeast-1.maxcompute.aliyun-inc.com/api&p=sgods&i=20220807101011355goyu43wa&token=NFBwc2tzaEpJNGF0OVFINmJuREZrem1OamQ4PSxPRFBTX09CTzo1OTMwMzI1NTY1MTk1MzAzLDE2NjAxMjYyMTEseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL3Nnb2RzL2luc3RhbmNlcy8yMDIyMDgwNzEwMTAxMTM1NWdveXU0M3dhIl19XSwiVmVyc2lvbiI6IjEifQ== ]出现ODPS-XXXX这种错误提示,通常是代表ODPS内部执行错误,您可查看SQL错误码(ODPS-01CCCCX)文档查询报错以及解决办法,若文档中找不到或有其他问题,可以咨询MaxCompute技术支持人员。Request rejected by flow control. You have exceeded the limit for the number of tasks you can run concurrently in this project. Please try later.原因:Merge并发提交的SQL子任务过多,触发了ODPS对该project并发限流。 解决方案:设置Merge任务并发参数concurrency降低并发。更改Merge任务调度时间配置,打散Merge任务运行时间。联系MaxCompute技术支持人员解决。
小周sirAM 2023-12-21 8:01:55 2 您好,DataWorks修改的参数只在开发环境生效而对生产环境无影响的问题可能是由调度参数配置和任务调度机制决定的。 在DataWorks中,调度参数是任务调度时使用的参数,可以根据您配置的调度参数取值规则,在每次任务运行时自动替换为真实的取值。这些参数可以在数据开发页面进行配置和测试。同时,DataWorks提供了开发环境冒烟测试功能,您可以根据业务时间替换调度参数,并进行测试。
Merge任务运行失败https://help.aliyun.com/zh/dataworks/user-guide/troubleshoot-issues-of-a-merge-node-generated-by-a-one-click-real-time-synchronization-to-maxcompute-solution?spm=a2c4g.11186623.0.i139
Base table partition not exists.
原因:前一日的全量分区没有产生,一般较少出现,可能场景:
手动补数据运行Merge实例,但前一日实例没有运行,确保前一日Merge实例正常运行完成。
首次运行时离线全量或者加表后全量同步未执行完成,如果存在同步失败的表,解决方案中通过先减表再加表的方式重新初始化该表。
如果是其他原因,可能是触发了不支持的场景,请联系值班同学进一步排查。
Run job failed,instance:XXXX.
原因:有ODPS SQL子任务运行失败,搜索instanceId,定位到错误日志,通常日志类似如下:
Instance: XXX, Status: FAILED
result: ODPS-0110061: Failed to run ddltask – Persist ddl plans failed.
, Logview:
http://Logview.odps.aliyun.com/Logview/?h=http://service.ap-southeast-1.maxcompute.aliyun-inc.com/api&p=sgods&i=20220807101011355goyu43wa&token=NFBwc2tzaEpJNGF0OVFINmJuREZrem1OamQ4PSxPRFBTX09CTzo1OTMwMzI1NTY1MTk1MzAzLDE2NjAxMjYyMTEseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL3Nnb2RzL2luc3RhbmNlcy8yMDIyMDgwNzEwMTAxMTM1NWdveXU0M3dhIl19XSwiVmVyc2lvbiI6IjEifQ== ]
出现ODPS-XXXX这种错误提示,通常是代表ODPS内部执行错误,您可查看SQL错误码(ODPS-01CCCCX)文档查询报错以及解决办法,若文档中找不到或有其他问题,可以咨询MaxCompute技术支持人员。
Request rejected by flow control. You have exceeded the limit for the number of tasks you can run concurrently in this project. Please try later.
原因:Merge并发提交的SQL子任务过多,触发了ODPS对该project并发限流。
解决方案:
设置Merge任务并发参数concurrency降低并发。
更改Merge任务调度时间配置,打散Merge任务运行时间。
联系MaxCompute技术支持人员解决。
您好,DataWorks修改的参数只在开发环境生效而对生产环境无影响的问题可能是由调度参数配置和任务调度机制决定的。
在DataWorks中,调度参数是任务调度时使用的参数,可以根据您配置的调度参数取值规则,在每次任务运行时自动替换为真实的取值。这些参数可以在数据开发页面进行配置和测试。同时,DataWorks提供了开发环境冒烟测试功能,您可以根据业务时间替换调度参数,并进行测试。