tongchenkeji 发表于：2023-12-10 19:53:530次点击 已关注取消关注 关注 私信 DataWorks如何同步SLS日志到odps上？[阿里云] 暂停朗读为您朗读 DataWorks如何同步SLS日志到odps上？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 阿里云# DataWorks3343# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据开发治理平台 DataWorks3946# 日志服务1139
xin在这AM 2023-12-21 8:00:27 1 使用数据集成离线同步任务可以 https://help.aliyun.com/zh/dataworks/user-guide/supported-data-source-types-and-read-and-write-operations ，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
小周sirAM 2023-12-21 8:00:27 2 在DataWorks中，同步SLS日志到MaxCompute（原ODPS）的步骤如下：首先，在”日志存储 > 日志库”页面中，找到并点击目标Logstore左侧的选项；其次，选择”数据处理 > 导出> MaxCompute（原ODPS）”。之后，将鼠标悬浮在MaxCompute（原ODPS）上，然后单击”+”进行操作。
Star时光AM 2023-12-21 8:00:27 3 在 DataWorks 中，可以通过配置数据集成任务来实现将 SLS（Log Service）日志同步到 ODPS（MaxCompute）上。以下是一种常见的做法： 创建 ODPS 表：首先，在 ODPS 中创建一个用于存储 SLS 日志的表。您可以使用 ODPS SQL 或者 DataWorks Studio 的建表向导来创建表，并定义适当的字段和分区。 创建数据集成任务：在 DataWorks 中，创建一个数据集成任务。选择 “数据集成” -> “同步任务”，填写任务名称和描述。 配置来源端：选择 “数据源类型” 为 “日志服务（SLS）”。然后，根据具体情况，填写 SLS 的相关配置信息，包括项目、日志库、日志主题等。 配置目标端：选择 “目标数据源类型” 为 “大数据计算（ODPS）”。填写 ODPS 的相关连接信息，包括项目、数据源和表等。 字段映射和数据转换：在数据集成任务中，需要进行字段映射和数据转换配置。根据 SLS 日志中的字段和 ODPS 表的字段进行映射关系的设置。如果需要对数据进行转换或清洗，可以使用 DataWorks Studio 提供的数据处理功能，例如 SQL 转换、ETL 脚本等。 调度配置：最后，根据需要设置数据集成任务的调度方式和频率。可以选择手动触发或定时调度任务。
使用数据集成离线同步任务可以 https://help.aliyun.com/zh/dataworks/user-guide/supported-data-source-types-and-read-and-write-operations ，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中，同步SLS日志到MaxCompute（原ODPS）的步骤如下：首先，在”日志存储 > 日志库”页面中，找到并点击目标Logstore左侧的选项；其次，选择”数据处理 > 导出> MaxCompute（原ODPS）”。之后，将鼠标悬浮在MaxCompute（原ODPS）上，然后单击”+”进行操作。
在 DataWorks 中，可以通过配置数据集成任务来实现将 SLS（Log Service）日志同步到 ODPS（MaxCompute）上。以下是一种常见的做法：
创建 ODPS 表：首先，在 ODPS 中创建一个用于存储 SLS 日志的表。您可以使用 ODPS SQL 或者 DataWorks Studio 的建表向导来创建表，并定义适当的字段和分区。
创建数据集成任务：在 DataWorks 中，创建一个数据集成任务。选择 “数据集成” -> “同步任务”，填写任务名称和描述。
配置来源端：选择 “数据源类型” 为 “日志服务（SLS）”。然后，根据具体情况，填写 SLS 的相关配置信息，包括项目、日志库、日志主题等。
配置目标端：选择 “目标数据源类型” 为 “大数据计算（ODPS）”。填写 ODPS 的相关连接信息，包括项目、数据源和表等。
字段映射和数据转换：在数据集成任务中，需要进行字段映射和数据转换配置。根据 SLS 日志中的字段和 ODPS 表的字段进行映射关系的设置。如果需要对数据进行转换或清洗，可以使用 DataWorks Studio 提供的数据处理功能，例如 SQL 转换、ETL 脚本等。
调度配置：最后，根据需要设置数据集成任务的调度方式和频率。可以选择手动触发或定时调度任务。