大数据计算MaxCompute如果我要把所有历史执行记录保留90天?[阿里云MaxCompute]

大数据计算MaxCompute如果我要把所有历史执行记录保留90天。是不是只能通过api或者每天抓取这个元仓把记录保留到实体表?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
6 条回复 A 作者 M 管理员
  1. 在阿里云的大数据计算服务MaxCompute中,如果您想要保留所有历史执行记录并将其保留在实体表中,并且希望这些记录保留90天,您通常需要采用一种自动化的方式,通过定期的任务或脚本来实现这个目标。

    以下是一种可能的方法:

    1. 创建一张历史执行记录表:首先,您可以创建一个新的MaxCompute表,用于存储历史执行记录。这张表将包含记录的元数据信息,如执行时间、执行状态、任务ID等。

    2. 设置定时任务或脚本:您可以编写一个定时任务或脚本,定期从MaxCompute的执行记录中提取需要保存的信息,并将其插入到历史执行记录表中。您可以使用MaxCompute SQL语句和MaxCompute SDK来实现这一步骤。

    3. 删除旧记录:在插入新记录之后,您可以编写另一个任务或脚本来删除历史执行记录表中超过90天的记录。这可以确保只保留最近90天的记录。

    4. 定期运行:将上述任务或脚本安排为定期运行,以确保历史执行记录的自动维护和保留。

    请注意,这是一种自动化的方法,可以确保历史执行记录的保留和管理,而不需要手动操作。您可以根据实际需求和环境进一步调整和优化这个流程。

    另外,MaxCompute提供了REST API和SDK,您可以使用它们来自动化执行记录的提取和管理,但您需要编写相关的代码和逻辑来实现这一点。这种方式可以更好地集成到您的自动化工作流中。

  2. MaxCompute确实提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间。这样,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。

    对于历史执行记录的保留,如果您希望所有历史执行记录都保留90天,这可能需要结合使用MaxCompute的API和数据管理功能。具体来说,您可以通过API定期抓取元仓中的执行记录,并将这些记录保存到实体表中。同时,您还需要设置适当的数据保留策略,以确保超过90天的历史记录不会被永久保存,从而满足您的数据存储需求。

  3. 是的,如果你想要把所有历史执行记录保留90天,你可能需要通过API或者每天抓取这个元仓把记录保留到实体表。这样可以确保你的历史执行记录在90天后不会被删除。

  4. 阿里云大数据计算MaxCompute的作业快照操作记录保存期限为7天。如果您希望所有历史执行记录保留90天,可能需要借助其他手段。例如,可以通过API或者每天抓取这个元仓把记录保留到实体表中。同时,MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。这样即使超过了作业快照操作记录的保存期限,也可以通过数据备份与恢复功能来获取到历史执行记录。

  5. 是的,如果你想在MaxCompute中保留所有的历史执行记录超过90天,你可能需要通过API或者每天抓取这些记录并将它们保存到一个实体表中。

    MaxCompute本身并没有提供直接的方式来保留所有的历史执行记录超过90天。MaxCompute的设计目标是提供一个快速、全托管的在线数据仓库服务,因此它可能不会提供一些高级的功能,比如长时间的日志记录。

    然而,你可以通过一些变通的方式来实现这个目标。例如,你可以编写一个脚本,每天抓取MaxCompute的历史执行记录,并将它们保存到一个实体表中。这样,你就可以在任何时间查询这些记录,而不受MaxCompute的限制。

    另外,你也可以考虑使用MaxCompute的日志服务。日志服务可以提供详细的日志记录,包括每个SQL的执行情况、执行时间、执行结果等。你可以使用日志服务来替代MaxCompute的内置日志功能,从而满足你的需求。

  6. 在MaxCompute中,你可以通过API来获取历史执行记录。如果你想要保留所有的历史执行记录,你可以使用API来获取这些记录,并将这些记录保存到实体表中。
    另外,你也可以使用MaxCompute的元仓来保存历史执行记录。MaxCompute的元仓是一个存储MaxCompute任务元数据的数据库。你可以使用元仓来保存历史执行记录,并且可以设置元仓的保留时间,以确保元仓中的历史执行记录可以保留90天。
    需要注意的是,MaxCompute的元仓可能会有一定的延迟。如果你想要获取最新的历史执行记录,你应该等待一段时间后,再查看元仓中的历史执行记录。

  7. 如果是要记录任务,只能定时去拿Information Schema和DataWorks api数据了。
    审计日志是保留事件记录90天 ,此回答整理自钉群“MaxCompute开发者社区2群”