DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢,我用的是这个表行数,但是如我之前说的,日志里面他会先查询分区,分区不存在直接报错了,如果要有这个监控,需要我人为采用自定义sql吗?
DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢?[阿里云]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢,我用的是这个表行数,但是如我之前说的,日志里面他会先查询分区,分区不存在直接报错了,如果要有这个监控,需要我人为采用自定义sql吗?
为了监控表的每日数据产出是否存在,您可以使用DataWorks的数据质量功能。这个功能允许您按照数据表配置质量监控规则,以自动拦截问题任务并阻断脏数据向下游蔓延,从而保障产出的表数据符合预期。此外,您还可以通过配置智能基线来监控任务运行状态及资源使用情况。
关于您提到的分区不存在导致报错的问题,您可以在自定义SQL中先查询分区是否存在,然后再进行其他操作。这样可以避免因为分区不存在而导致的错误。如果您需要对周期实例、补数据实例、测试实例产出的表数据进行监控,也可以使用数据质量功能。建议每个表规则配置完毕后,都进行一次试跑操作,以验证表规则的适用性。
实际需求是监控分区是否存在吗 ,数据质量一般是在分区存在的前提下进行监控分区内数据是否符合预期https://www.tongchenyun.com/wp-content/uploads/2023/12/21/check-nodespm=a2c4g.11186623.0.i2![image.png](https://www.tongchenyun.com/wp-content/uploads/2023/12/21/wyvq5mjsckydw_6fd7c0864c824960aaf386ca25174b25.png)
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”