tongchenkeji 发表于：2023-3-22 10:05:050次点击 已关注取消关注 关注 私信 如何将抽取全部内容为一个字段？[阿里云DataWorks] 暂停朗读为您朗读 如何将抽取全部内容为一个字段？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 DataWorks# 大数据开发治理平台 DataWorks3946
凌云CloudAM 2023-11-27 21:29:00 1 在DataWorks中，如果您想将抽取的所有内容合并为一个字段，请按照以下步骤操作： 打开您的数据集并选择“数据抽取”。 在“数据抽取”页面上，单击“添加表”按钮 在“添加表”页面上，输入表的名称，并选择您要抽取的数据源。 在“数据源配置”页面上，选择“高级配置”选项卡。 在“高级配置”选项卡下，找到“提取SQL”文本框，并输入您的SQL语句。在SQL语句中，使用CONCAT函数将所有字段合并到一个字段中。例如，如果您有两个字段a和b，您可以使用以下语句将它们合并为一个字段c： SELECT CONCAT(a, b) AS c FROM table_name;
回回回123AM 2023-11-27 21:29:00 2 支持全量拉取 支持将Elasticsearch中一个文档的所有内容拉取为一个字段。支持提取半结构化到结构化数据分类 描述 产生背景 Elasticsearch中的数据特征为字段不固定，且有中文名、数据使用深层嵌套的形式。为更好地方便下游业务对数据的计算和存储需求，特推出从半结构化到结构化的转换解决方案。 实现原理 将Elasticsearch获取到的JSON数据，利用JSON工具的路径获取特性，将嵌套数据扁平化为一维结构的数据。然后将数据映射至结构化数据表中，拆分Elasticsearch复合结构数据至多个结构化数据表。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中，如果您想将抽取的所有内容合并为一个字段，请按照以下步骤操作：
打开您的数据集并选择“数据抽取”。
在“数据抽取”页面上，单击“添加表”按钮
在“添加表”页面上，输入表的名称，并选择您要抽取的数据源。
在“数据源配置”页面上，选择“高级配置”选项卡。
在“高级配置”选项卡下，找到“提取SQL”文本框，并输入您的SQL语句。在SQL语句中，使用CONCAT函数将所有字段合并到一个字段中。例如，如果您有两个字段a和b，您可以使用以下语句将它们合并为一个字段c：
支持全量拉取 支持将Elasticsearch中一个文档的所有内容拉取为一个字段。支持提取半结构化到结构化数据分类 描述 产生背景 Elasticsearch中的数据特征为字段不固定，且有中文名、数据使用深层嵌套的形式。为更好地方便下游业务对数据的计算和存储需求，特推出从半结构化到结构化的转换解决方案。 实现原理 将Elasticsearch获取到的JSON数据，利用JSON工具的路径获取特性，将嵌套数据扁平化为一维结构的数据。然后将数据映射至结构化数据表中，拆分Elasticsearch复合结构数据至多个结构化数据表。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”