tongchenkeji 发表于:2023-11-30 14:17:050次点击 已关注取消关注 关注 私信 DataWorks天任务依赖小时任务,调度是怎么跑的?[阿里云] 暂停朗读为您朗读 DataWorks天任务依赖小时任务,调度是怎么跑的? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 阿里云# DataWorks3343# 大数据开发治理平台 DataWorks3946# 调度383
小周sirAM 2023-12-3 11:51:10 1 在DataWorks中,天任务依赖小时任务的调度运行过程如下: 创建任务: 首先需要创建两个任务:一个为小时级别的任务(例如每个小时跑一次),另一个为天级别的任务。 设置依赖关系: 在天级别任务的配置中,你需要设置对所需的具体小时实例的调度依赖性。这意味着天级任务的执行会等待所依赖的小时任务完成。 定义调度时间: 对于小时任务,你可以设置其每天在特定的时间点运行,比如每小时的0分开始。 对于天任务,你可以设置它每天在特定的时间点运行,比如每天凌晨0点开始。 任务触发: 当指定的调度时间到达时,DataWorks会根据你设定的依赖关系自动触发相关任务的执行。 任务执行顺序: 按照依赖关系,DataWorks会首先运行小时任务,一旦所有依赖的小时任务都成功执行,天任务才会开始执行。 状态检查和更新: DataWorks会监控每个任务的执行状态,并将这些信息更新到控制台供用户查看。 异常处理: 如果任何一个小时任务失败,那么依赖它的天任务不会执行,直到所有的小时任务都成功为止。
小LeeAM 2023-12-3 11:51:10 2 在阿里云DataWorks中,天任务依赖小时任务的调度通常会按照以下逻辑进行: 小时任务独立运行: 如果上游小时任务是非自依赖(即小时任务本身未配置依赖上周期),它们将各自独立地运行。每个小时跑全量数据的任务一般适用于维表场景。 跨周期依赖: 当天级任务依赖于小时级任务时,可以设置为跨周期依赖。这意味着当天的任务不会等到所有当天的小时任务完成才开始执行。相反,它可以根据需要等待前一个日历日的所有小时任务完成。 实例触发: 当天级任务被触发时,它会检查其依赖的小时任务是否已经成功完成。如果没有,则天任务会等待相应的小时任务成功完成。 实例链传递: 一旦所有的依赖小时任务都成功完成,那么天任务就会被执行,并且生成一个新的实例。这个新的实例可能会影响到其他依赖于它的下游任务。 错误处理: 如果任何一个小时任务失败,那么依赖于它的天任务将会被标记为失败或挂起,直到问题得到解决并且重新调度。 手动干预: 在某些情况下,你可能需要手动介入来修复错误或者调整任务的依赖关系。这可以通过DataWorks的工作流编辑界面来进行。
在DataWorks中,天任务依赖小时任务的调度运行过程如下:
创建任务:
设置依赖关系:
定义调度时间:
任务触发:
任务执行顺序:
状态检查和更新:
异常处理:
在阿里云DataWorks中,天任务依赖小时任务的调度通常会按照以下逻辑进行:
小时任务独立运行:
跨周期依赖:
实例触发:
实例链传递:
错误处理:
手动干预: