DataWorks如何配置MaxCompute监控进行订阅管理?[阿里云MaxCompute]

DataWorks如何配置MaxCompute监控进行订阅管理?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
5 条回复 A 作者 M 管理员
  1. 在DataWorks中配置MaxCompute监控进行订阅管理,可以按照以下步骤进行:

    1. 登录DataWorks控制台,进入项目空间。
    2. 在左侧导航栏中选择【运维中心】,然后选择【告警订阅】。
    3. 在相应表的监控规则页面,单击订阅管理。
    4. 在 订阅管理 对话框中,选择相应的 订阅方式 。订阅方式包括 邮件通知 、 邮件和短信通知 、 钉钉群机器人 、 钉钉群机器人@ALL 、 飞书群机器人 、 企业微信机器人 和 自定义Webhook 。

    以上就是配置MaxCompute监控进行订阅管理的方法。

  2. 在DataWorks中配置MaxCompute监控进行订阅管理,你可以按照以下步骤进行操作:

    1. 登录DataWorks控制台,选择需要进行监控订阅的项目。

    2. 在左侧导航栏中,点击”运维中心”,然后选择”告警订阅”。

    3. 在告警订阅页面,点击”新增订阅”。

    4. 在新增订阅页面,选择”MaxCompute”作为数据源类型。

    5. 根据你的需求,选择要监控的MaxCompute项目、表或者任务。你可以根据需要选择具体的对象,也可以选择整个项目进行监控。

    6. 定义告警规则:根据你的需求,设置告警规则,例如设置阈值、条件等。你可以设置多个规则来满足不同的监控需求。

    7. 配置订阅方式:选择你希望接收告警通知的方式,包括邮件、消息推送等。

    8. 点击”确定”完成订阅配置。

    完成上述步骤后,DataWorks会按照你配置的规则和方式来监控MaxCompute项目、表或者任务,并在触发告警条件时发送通知给你。

  3. 在DataWorks中配置MaxCompute监控进行订阅管理,可以按照以下步骤进行:

    1. 登录DataWorks控制台,进入项目空间。
    2. 在左侧导航栏中选择【运维中心】,然后选择【告警订阅】。
    3. 在告警订阅页面,点击【新建订阅】按钮。
    4. 在订阅配置页面,配置以下信息:
      • 选择监控类型为【MaxCompute】。
      • 设置订阅名称,用于标识该订阅。
      • 配置订阅内容,可以选择要监控的具体表或视图,以及具体的监控指标。
      • 设置通知方式,可以选择邮件、短信等方式接收告警通知。
      • 设置告警阈值,当监控指标达到或超过设定阈值时,系统将自动发送告警通知。

    配置完成后,系统将根据订阅内容和告警阈值自动监测MaxCompute表或视图的状态,并及时发出告警通知。通过这种方式,可以帮助用户及时发现并解决MaxCompute表或视图的问题,保障系统的正常运行。

  4. 配置示例:MaxCompute
    https://help.aliyun.com/zh/dataworks/user-guide/configure-monitoring-rules-for-maxcompute?spm=a2c4g.11186623.0.i1

    监控规则是数据质量(DQC)的核心。数据质量支持EMR(E-MapReduce)、Hologres、AnalyticDB for PostgreSQL、MaxCompute、CDH Hive监控,本文为您介绍如何配置MaxCompute监控。

    新增MaxCompute数据源
    进入数据源页面。

    登录DataWorks控制台,单击左侧导航栏的管理中心,在下拉框中选择对应工作空间后单击进入管理中心。

    进入工作空间管理中心页面后,单击左侧导航栏的数据源,进入数据源页面。

    单击右上方的新增数据源添加MaxCompute数据源,详情请参见配置MaxCompute数据源。

    选择数据源
    单击当前页面左上方的图标图标,选择全部产品 > 数据治理 > 数据质量。

    在左侧导航栏,单击规则管理 > 按表配置。

    选择引擎/数据源为MaxCompute,显示当前数据源下所有的表。

    您也可以输入目标表名(支持表名首字母模糊搜索),查找对应的表。

    单击相应表后的配置监控规则。

    配置分区表达式
    数据质量通过分区表达式来确定需要配置的规则:

    如果您的检查对象为非分区表,可以配置分区表达式为NOTAPARTITIONTABLE。

    如果您的检查对象为分区表,可以配置为业务日期的表达式(例如$[yyyymmdd-1])。

    说明
    数据质量规则中,分区表达式不支持使用大括号相关格式。例如,${yyyymmdd-1}。

    在数据表的监控规则页面,单击分区表达式后的+,添加分区表达式。

  5. 订阅管理默认通知创建者,如果想通知其它用户,您可以手动添加。在相应表的监控规则页面,单击订阅管理。在订阅管理对话框中,选择相应的订阅方式。订阅方式包括邮件通知、邮件和短信通知、钉钉群机器人和钉钉群机器人@ALL。说明 添加钉钉群机器人获取Webhook地址后,复制Webhook地址至订阅管理中即可。详情请参见添加钉钉群机器人获取Webhook地址。单击保存。
    https://help.aliyun.com/document_detail/73690.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

  6. 要配置MaxCompute监控进行订阅管理,您可以使用DataWorks的运维中心功能。以下是基本的操作步骤:

    1. 登录DataWorks控制台,并进入所需的项目空间。
    2. 单击左侧导航栏上的“运维中心”,然后选择“告警订阅”选项。
    3. 在告警订阅页面,点击“新建订阅”按钮。
    4. 设置告警规则和通知策略,并保存。
    5. 单击“监控配置”,然后选择“MaxCompute监控配置”。
    6. 在MaxCompute监控配置页面,选择需要配置关联调度的监控项,例如“作业运行时长”。
    7. 设置告警规则和通知策略,并保存。

    这样,您就可以接收到相关的告警消息,以便及时关注MaxCompute作业的运行状况。此外,您还可以使用告警订阅功能,将告警信息推送到钉钉、短信、邮件等渠道,以便及时收到告警信息。总之,在DataWorks中,可以使用告警订阅功能来配置MaxCompute监控,以便及时关注MaxCompute作业的运行状况。