DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢?[阿里云]

DataWorks比如我们要监控表的每日数据产出是否存在,需要用哪种模板呢,我用的是这个表行数,但是如我之前说的,日志里面他会先查询分区,分区不存在直接报错了,如果要有这个监控,需要我人为采用自定义sql吗?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 为了监控表的每日数据产出是否存在,您可以使用DataWorks的数据质量功能。这个功能允许您按照数据表配置质量监控规则,以自动拦截问题任务并阻断脏数据向下游蔓延,从而保障产出的表数据符合预期。此外,您还可以通过配置智能基线来监控任务运行状态及资源使用情况。

    关于您提到的分区不存在导致报错的问题,您可以在自定义SQL中先查询分区是否存在,然后再进行其他操作。这样可以避免因为分区不存在而导致的错误。如果您需要对周期实例、补数据实例、测试实例产出的表数据进行监控,也可以使用数据质量功能。建议每个表规则配置完毕后,都进行一次试跑操作,以验证表规则的适用性。