tongchenkeji 发表于:2023-11-20 7:51:050次点击 已关注取消关注 关注 私信 DataWorks数据质量如何进行关联调度?[阿里云DataWorks] 暂停朗读为您朗读 DataWorks数据质量如何进行关联调度? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 DataWorks# DataWorks3343# 大数据开发治理平台 DataWorks3946# 数据采集76# 调度383
vohelonAM 2023-11-27 21:23:12 1 通过调度任务列表查看。https://help.aliyun.com/zh/dataworks/user-guide/manage-unexpected-data?spm=a2c4g.11186623.0.i104 当数据质量监控规则关联调度节点后,您可进入调度节点的运行详情页面,在任务执行 > DQC面板,单击目标规则操作列的查看详情,查看问题数据采集过程。详情请参见:智能诊断。
小周sirAM 2023-11-27 21:23:12 2 DataWorks数据质量管理功能支持通过关联调度实现自动化的数据质量检测。以下是进行关联调度的具体步骤: 配置规则 在关联调度之前,请先完成数据质量规则的配置。您可以根据业务场景,选择合适的规则模板并自定义参数。 关联调度任务 创建数据质量检测任务时,请确保您已经完成了关联调度的目标任务的配置。目标任务可以是ODS层或DWD层的任务,只要其输出的结果需要进行数据质量检测即可。 添加任务订阅 当目标任务的输出结果发生变化时,可以通过任务订阅的方式将其变化通知给数据质量检测任务。您可以在目标任务的详情页面点击【订阅管理】按钮,然后在弹出的对话框中设置订阅方式和接收者。 执行数据质量检测 当目标任务执行完毕并产生新的输出结果时,关联调度将会自动触发数据质量检测任务,从而实现自动化数据质量检测的功能。
sun20AM 2023-11-27 21:23:12 3 在DataWorks中,数据质量的关联调度是一种将分区表达式和节点任务进行关联的功能,支持与多个节点任务进行关联。当分区表达式下的任务运行时,与该表达式绑定的数据质量监控规则会自动触发检测。 具体来说,您可以在数据质量规则配置页面点击”关联调度”按钮,进入关联调度配置页面。在这个页面的输入框中,输入您需要关联的任务节点名称,然后点击”添加”按钮。通过这种方式,您可以将数据质量规则与特定任务节点关联起来。 值得注意的是,当与表关联的调度节点运行(执行节点代码逻辑)完成后,DataWorks平台将会根据数据质量规则强弱和数据质量规则校验结果决定任务是否由于质量规则校验失败退出,并阻塞下游任务的执行。这样,您可以确保数据质量的监控和控制,防止质量问题的数据影响业务决策。
通过调度任务列表查看。https://help.aliyun.com/zh/dataworks/user-guide/manage-unexpected-data?spm=a2c4g.11186623.0.i104
当数据质量监控规则关联调度节点后,您可进入调度节点的运行详情页面,在任务执行 > DQC面板,单击目标规则操作列的查看详情,查看问题数据采集过程。详情请参见:智能诊断。
DataWorks数据质量管理功能支持通过关联调度实现自动化的数据质量检测。以下是进行关联调度的具体步骤:
在DataWorks中,数据质量的关联调度是一种将分区表达式和节点任务进行关联的功能,支持与多个节点任务进行关联。当分区表达式下的任务运行时,与该表达式绑定的数据质量监控规则会自动触发检测。
具体来说,您可以在数据质量规则配置页面点击”关联调度”按钮,进入关联调度配置页面。在这个页面的输入框中,输入您需要关联的任务节点名称,然后点击”添加”按钮。通过这种方式,您可以将数据质量规则与特定任务节点关联起来。
值得注意的是,当与表关联的调度节点运行(执行节点代码逻辑)完成后,DataWorks平台将会根据数据质量规则强弱和数据质量规则校验结果决定任务是否由于质量规则校验失败退出,并阻塞下游任务的执行。这样,您可以确保数据质量的监控和控制,防止质量问题的数据影响业务决策。