tongchenkeji 发表于:2023-11-21 9:07:100次点击 已关注取消关注 关注 私信 DataWorks我们有个场景需要确认:周任务依赖周任务,请问下游的周任务会等到周三运行吗?[阿里云DataWorks] 暂停朗读为您朗读 DataWorks我们有个场景需要确认:周任务依赖周任务,上游周任务是周三运行,下游周任务是周一运行,请问下游的周任务会等到周三运行吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 DataWorks# DataWorks3343# 大数据开发治理平台 DataWorks3946
xin在这AM 2023-11-27 21:34:46 1 不会的 由于实例每天至少生成一个 所以是每天一一对应的依赖关系 上游非指定时间的会是空跑 实际读取的数据可以是上周三产出的,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
sun20AM 2023-11-27 21:34:46 2 在DataWorks中,任务的依赖关系是通过定义任务间的依赖关系来实现的。如果一个任务依赖于另一个任务的结果,那么它会在那个任务完成后才会开始执行。 在你的场景中,下游的周任务依赖于上游周任务的结果。如果上游周任务在周三运行,那么下游的周任务会在周三等待上游任务完成,然后才开始运行。所以,下游的周任务并不会在周一就开始运行,而是在周三开始运行。 如果你想让下游的周任务在周一就开始运行,而不等待上游任务的结果,那么你可以在定义任务间依赖关系时,选择“并行”而不是“依赖”。这样,下游任务就会在设定的时间点开始运行,而不会等待上游任务的结果。
小周sirAM 2023-11-27 21:34:46 3 在DataWorks中,上游周任务的执行时间和下游周任务的执行时间没有直接关系。一般来说,下游周任务会在满足自身执行条件的情况下立即执行,而不必等待上游周任务完成。如果您希望下游周任务在上游周任务完成后才开始运行,可以考虑采用以下两种解决方案: 延迟运行:将下游周任务的开始时间设置为周四或者更晚的时间,这样可以确保上游周任务在下游周任务开始之前已经完成。 靠谱模式:在上游周任务中设置靠谱模式,只有当上游周任务成功完成后,下游周任务才会开始运行。在这种情况下,即使下游周任务开始时间早于上游周任务,它也会等待上游周任务完成后再开始执行。
不会的 由于实例每天至少生成一个 所以是每天一一对应的依赖关系 上游非指定时间的会是空跑 实际读取的数据可以是上周三产出的,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,任务的依赖关系是通过定义任务间的依赖关系来实现的。如果一个任务依赖于另一个任务的结果,那么它会在那个任务完成后才会开始执行。
在你的场景中,下游的周任务依赖于上游周任务的结果。如果上游周任务在周三运行,那么下游的周任务会在周三等待上游任务完成,然后才开始运行。所以,下游的周任务并不会在周一就开始运行,而是在周三开始运行。
如果你想让下游的周任务在周一就开始运行,而不等待上游任务的结果,那么你可以在定义任务间依赖关系时,选择“并行”而不是“依赖”。这样,下游任务就会在设定的时间点开始运行,而不会等待上游任务的结果。
在DataWorks中,上游周任务的执行时间和下游周任务的执行时间没有直接关系。一般来说,下游周任务会在满足自身执行条件的情况下立即执行,而不必等待上游周任务完成。
如果您希望下游周任务在上游周任务完成后才开始运行,可以考虑采用以下两种解决方案: