tongchenkeji 发表于：2023-7-3 14:50:020次点击 已关注取消关注 关注 私信 Dataworks业务日志存储在哪里？入库是MySQL还是Maxcompute?”[阿里云MaxCompute] 暂停朗读为您朗读 Dataworks业务日志存储在哪里？入库是MySQL还是Maxcompute?” 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 MaxCompute# DataWorks3343# MaxCompute2748# MySQL1179# 关系型数据库2577# 分布式计算2827# 大数据开发治理平台 DataWorks3946# 存储536
算精通AM 2023-11-27 17:57:04 1 在阿里云DataWorks中，业务日志的存储和入库方式可能会有所不同，具体取决于您的数据集成、数据开发和数据分析场景。下面是关于不同场景下的业务日志存储和入库方式的介绍：数据集成场景：在数据集成场景下，DataWorks会将业务日志存储在日志服务（Log Service）中。日志服务是一种高可用、低延迟、海量日志数据处理平台，可用于实时收集、分析和查询各类业务日志数据。在数据集成任务中，DataWorks会自动将任务执行的日志信息发送到日志服务中，以便用户查看和分析。同时，DataWorks也支持在日志服务中配置消费端，将日志数据导出到MySQL等其他数据存储中。数据开发场景：在数据开发场景下，DataWorks会将业务日志存储在MaxCompute（原名MaxCompute）中。MaxCompute是阿里云提供的一种PB级别的数据计算和分析服务，支持海量数据的存储、处理和分析。在数据开发任务中，DataWorks会自动将任务执行的日志信息写入到MaxCompute中，以便用户查看和分析。同时，用户也可以通过DataWorks的数据开发工作台或MaxCompute的开发工具，对日志数据进行进一步的计算和分析。
Star时光AM 2023-11-27 17:57:04 2 在DataWorks中，业务日志存储的位置和方式取决于具体的配置。一般情况下，DataWorks的业务日志会存储在MaxCompute（原名ODPS）中，而不是MySQL。 以下是一般情况下DataWorks业务日志的存储方式： 存储位置：DataWorks的业务日志通常存储在MaxCompute项目中的指定表中。这些表用于记录任务执行的状态、日志信息和性能指标等。 日志格式：业务日志以结构化的形式保存，包含了任务的执行详情、日志消息、错误信息等内容。 数据清洗和处理：数据从源系统流入DataWorks后，会经过清洗和处理操作，将符合要求的日志数据写入MaxCompute进行持久化存储。 通过将业务日志存储在MaxCompute中，DataWorks可以实现高扩展性、高可靠性和大规模数据处理能力。此外，MaxCompute还提供了更多的数据处理和分析功能，例如数据挖掘、机器学习等，有助于更好地理解和优化数据工作流程。 需要注意的是，具体的日志存储配置可能因DataWorks版本、项目设置和日志收集策略而有所不同。建议参考阿里云官方文档或联系DataWorks技术支持团队获取更详细和准确的信息。
xin在这AM 2023-11-27 17:57:04 3 日志现在存在es上.后续 落磁盘还是怎么存储还没想好. 看看怎么操作 入maxcompter 比较方便，数据集成可以将es的数据同步到maxcompute，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在阿里云DataWorks中，业务日志的存储和入库方式可能会有所不同，具体取决于您的数据集成、数据开发和数据分析场景。下面是关于不同场景下的业务日志存储和入库方式的介绍：
数据集成场景：在数据集成场景下，DataWorks会将业务日志存储在日志服务（Log Service）中。日志服务是一种高可用、低延迟、海量日志数据处理平台，可用于实时收集、分析和查询各类业务日志数据。在数据集成任务中，DataWorks会自动将任务执行的日志信息发送到日志服务中，以便用户查看和分析。同时，DataWorks也支持在日志服务中配置消费端，将日志数据导出到MySQL等其他数据存储中。
数据开发场景：在数据开发场景下，DataWorks会将业务日志存储在MaxCompute（原名MaxCompute）中。MaxCompute是阿里云提供的一种PB级别的数据计算和分析服务，支持海量数据的存储、处理和分析。在数据开发任务中，DataWorks会自动将任务执行的日志信息写入到MaxCompute中，以便用户查看和分析。同时，用户也可以通过DataWorks的数据开发工作台或MaxCompute的开发工具，对日志数据进行进一步的计算和分析。
在DataWorks中，业务日志存储的位置和方式取决于具体的配置。一般情况下，DataWorks的业务日志会存储在MaxCompute（原名ODPS）中，而不是MySQL。
以下是一般情况下DataWorks业务日志的存储方式：
存储位置：DataWorks的业务日志通常存储在MaxCompute项目中的指定表中。这些表用于记录任务执行的状态、日志信息和性能指标等。
日志格式：业务日志以结构化的形式保存，包含了任务的执行详情、日志消息、错误信息等内容。
数据清洗和处理：数据从源系统流入DataWorks后，会经过清洗和处理操作，将符合要求的日志数据写入MaxCompute进行持久化存储。
通过将业务日志存储在MaxCompute中，DataWorks可以实现高扩展性、高可靠性和大规模数据处理能力。此外，MaxCompute还提供了更多的数据处理和分析功能，例如数据挖掘、机器学习等，有助于更好地理解和优化数据工作流程。
需要注意的是，具体的日志存储配置可能因DataWorks版本、项目设置和日志收集策略而有所不同。建议参考阿里云官方文档或联系DataWorks技术支持团队获取更详细和准确的信息。
日志现在存在es上.后续 落磁盘还是怎么存储还没想好. 看看怎么操作 入maxcompter 比较方便，数据集成可以将es的数据同步到maxcompute，此回答整理自钉群“DataWorks交流群(答疑@机器人)”