tongchenkeji
发表于：0次点击

大数据计算MaxCompute中TASKS_HISTORY 中的 settings 字段会上报信息？[阿里云MaxCompute]

大数据计算MaxCompute中TASKS_HISTORY 中的 settings 字段会上报哪些信息？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
MaxCompute# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据1264
=====这是一个广告位，招租中，联系qq 78315851====
MaxCompute
大数据计算MaxCompute这个是什么问题啊？[阿里云MaxCompute]
MaxCompute
大数据计算MaxCompute中useragent这些代表什么意思呢？[阿里云MaxCompute]
4 条回复 A 作者 M 管理员

  1. 在MaxCompute中，TASKS_HISTORY表中的settings字段会上报以下信息：

    1. 配置参数：settings字段会记录MaxCompute任务的配置参数，例如任务的并发度、资源限制、任务类型等。
    2. 状态信息：settings字段会记录MaxCompute任务的状态信息，例如任务的开始时间、结束时间、运行状态等。
    3. 错误信息：settings字段会记录MaxCompute任务的错误信息，例如任务的错误类型、错误描述、错误代码等。
    已喜欢 已反对

  2. TASKS_HISTORY中的settings字段在MaxCompute中会上报一些关于任务的运行信息，这些信息包括：

    • 任务类型：例如SQL、MapReduce等。
    • 任务状态：例如运行中、已完成、失败等。
    • 任务开始时间：即任务开始执行的时间点。
    • 任务结束时间：即任务成功结束或失败终止的时间点。
    • 任务运行时间：也就是任务从开始到结束所消耗的总时间。
    • 任务输入输出路径：描述了任务所使用的数据来源和结果输出的位置。
    • 任务优先级：表明了任务在系统中的执行优先级。
    • 任务队列名称：指示了任务所在的队列或调度池。
    已喜欢 已反对

  3. 在MaxCompute中，TASKS_HISTORY表的settings字段会上报一些任务执行过程中的设置信息。具体来说，它会包含以下信息：

    1. 项目名称（project_name）：任务所属的项目名称。
    2. 任务名称（task_name）：任务的名称。
    3. 任务类型（task_type）：任务的类型，例如SQL任务、MapReduce任务等。
    4. 数据源（datasource）：任务所使用的数据源，例如ODPS表、OSS对象存储等。
    5. 数据格式（format）：数据的格式，例如CSV、JSON等。
    6. 数据路径（data_path）：数据在MaxCompute中的路径。
    7. 数据大小（data_size）：输入数据的大小，以字节为单位。
    8. 分区数（partition_num）：输入数据的分区数。
    9. MapReduce作业配置（mapreduce_job_conf）：MapReduce任务的配置信息，包括Mapper和Reducer的数量、内存分配等。
    10. SQL查询语句（sql_query）：如果是SQL任务，这里会上报SQL查询语句。
    11. 其他自定义设置（custom_settings）：用户自定义的其他设置信息。
    已喜欢 已反对

  4. 在MaxCompute的TASKS_HISTORY表中，settings字段记录了作业执行时的配置信息。这些配置信息包括以下内容：

    1. 任务类型（taskType）：标识作业的类型，如MapReduce、SQL等。

    2. 输入表（inputTbls）：作业的输入表列表。

    3. 输出表（outputTbls）：作业的输出表列表。

    4. 参数（parameters）：作业的参数设置，包括作业的运行模式、并行度、优化配置等。

    5. 资源配置（resources）：作业执行时所使用的资源配置，如CPU、内存等。

    6. 文件资源（fileResources）：作业所需的文件资源列表，如UDF函数、配置文件等。

    7. 用户定义的标签（userDefinedTags）：用户自定义的标签信息，用于标识和分类作业。

    8. 其他配置项（otherSettings）：其他与作业执行相关的配置项，具体内容根据不同的作业类型而有所不同。

    已喜欢 已反对

  5. 在MaxCompute中，TASKS_HISTORY表中settings字段包含了一些任务设置信息。这些信息通常包括：

    1. task_type：任务类型，如INSERT、UPDATE、DELETE等。
    2. table_name：任务处理的表名。
    3. task_status：任务状态，如PENDING、RUNNING、SUCCEEDED、FAILED等。
    4. cluster_name：任务运行的集群名。
    5. execute_date：任务开始执行的日期和时间。
    6. start_time：任务开始执行的时间。
    7. end_time：任务结束执行的时间。
    8. duration：任务执行的持续时间。
    9. job_id：任务的Job ID。
    10. job_status：任务的Job状态，如RUNNING、SUCCEEDED、FAILED等。
    11. retry_times：任务重试的次数。
    12. error_message：任务执行过程中出现的错误信息。
    已喜欢 已反对