tongchenkeji 发表于：2023-10-10 18:23:180次点击 已关注取消关注 关注 私信 DataWorks中JSON数组拆分多条 从MongoDB迁移至MaxCompute？[阿里云MaxCompute] 暂停朗读为您朗读 DataWorks中JSON数组拆分多条 从MongoDB迁移至MaxCompute？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 MaxCompute# DataWorks3343# JSON177# MaxCompute2748# MongoDB84# NoSQL625# 分布式计算2827# 数据格式216
街头艺术家AM 2023-11-27 18:08:56 1 在DataWorks控制台中，选择要迁移数据的MongoDB数据源。在MongoDB数据源页面中，选择“数据开发”选项卡。在数据开发页面中，选择“JSON数据集”选项卡。在JSON数据集页面中，选择要迁移的JSON文件，并设置文件的字段映射关系。
SkyundAM 2023-11-27 18:08:56 2 阿里云DataWorks提供了JSON数组拆分多条从MongoDB迁移至MaxCompute的功能。您可以在MongoDB中使用JSON操作符，如regex、regex、match、$substr等，将JSON数据进行拆分，并将拆分后的数据写入MaxCompute中。同时，您也可以使用DataWorks的数据质量检查功能，检查数据的质量，并在数据出现错误时及时进行处理。
xin在这AM 2023-11-27 18:08:56 3 登录DataWorks控制台。在DataWorks上创建目标表。用以接收从MongoDB迁移的数据。右键单击已创建的业务流程，选择新建 > MaxCompute > 表。在新建表页面，选择引擎类型并输入表名。在表的编辑页面，单击DDL模式。在DDL模式对话框，输入建表语句，单击生成表结构。create table mqdata (MQ data string);单击提交到生产环境。新增MongoDB数据源，详情请参见配置MongoDB数据源。创建离线同步节点。进入数据开发页面，右键单击指定业务流程，选择新建 > 数据集成 > 离线同步。在新建节点对话框中，输入节点名称，并单击提交。在顶部菜单栏上，单击图标。在脚本模式下，单击顶部菜单栏上的图标。在导入模板对话框中选择来源类型、数据源、目标类型及数据源，并单击确定。输入如下脚本。{“type”: “job”,”steps”: [{“stepType”: “mongodb”,”parameter”: {“datasource”: “mongodb_userlog”,//数据源名称。”column”: [{“name”: “store.bicycle.color”, //JSON字段路径，本例中提取color值。”type”: “document.String” //非一层子属性以最终获取的类型为准。假如您选取的JSON字段为一级字段，例如本例中的expensive，则直接填写string即可。}],”collectionName”: “userlog” //集合名称。},”name”: “Reader”,”category”: “reader”},{“stepType”: “odps”,”parameter”: {“partition”: “”,”isCompress”: false,”truncate”: true,”datasource”: “odps_first”,”column”: [“mqhttps://help.aliyun.com/document_detail/98134.html，此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks控制台中，选择要迁移数据的MongoDB数据源。
在MongoDB数据源页面中，选择“数据开发”选项卡。
在数据开发页面中，选择“JSON数据集”选项卡。
在JSON数据集页面中，选择要迁移的JSON文件，并设置文件的字段映射关系。
阿里云DataWorks提供了JSON数组拆分多条从MongoDB迁移至MaxCompute的功能。您可以在MongoDB中使用JSON操作符，如regex、regex、match、$substr等，将JSON数据进行拆分，并将拆分后的数据写入MaxCompute中。同时，您也可以使用DataWorks的数据质量检查功能，检查数据的质量，并在数据出现错误时及时进行处理。
登录DataWorks控制台。在DataWorks上创建目标表。用以接收从MongoDB迁移的数据。右键单击已创建的业务流程，选择新建 > MaxCompute > 表。在新建表页面，选择引擎类型并输入表名。在表的编辑页面，单击DDL模式。在DDL模式对话框，输入建表语句，单击生成表结构。create table mqdata (MQ data string);单击提交到生产环境。新增MongoDB数据源，详情请参见配置MongoDB数据源。创建离线同步节点。进入数据开发页面，右键单击指定业务流程，选择新建 > 数据集成 > 离线同步。在新建节点对话框中，输入节点名称，并单击提交。在顶部菜单栏上，单击
图标。在脚本模式下，单击顶部菜单栏上的
图标。在导入模板对话框中选择来源类型、数据源、目标类型及数据源，并单击确定。输入如下脚本。{“type”: “job”,”steps”: [{“stepType”: “mongodb”,”parameter”: {“datasource”: “mongodb_userlog”,//数据源名称。”column”: [{“name”: “store.bicycle.color”, //JSON字段路径，本例中提取color值。”type”: “document.String” //非一层子属性以最终获取的类型为准。假如您选取的JSON字段为一级字段，例如本例中的expensive，则直接填写string即可。}],”collectionName”: “userlog” //集合名称。},”name”: “Reader”,”category”: “reader”},{“stepType”: “odps”,”parameter”: {“partition”: “”,”isCompress”: false,”truncate”: true,”datasource”: “odps_first”,”column”: [“mq
https://help.aliyun.com/document_detail/98134.html
，此回答整理自钉群“DataWorks交流群(答疑@机器人)”