tongchenkeji 发表于:2023-8-8 16:47:210次点击 已关注取消关注 关注 私信 请问dataworks中可以根据不同的源文件名字插入到maxcoompute中的不同table吗?[阿里云MaxCompute] 暂停朗读为您朗读 请问dataworks中可以根据不同的源文件名字插入到maxcoompute中的不同table吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# DataWorks3343# 大数据开发治理平台 DataWorks3946
算精通AM 2023-11-27 18:28:49 1 可以通过以下步骤实现这个需求: 创建数据同步任务:在DataWorks中,创建一个数据同步任务,用于将源文件数据传输到MaxCompute。 配置数据同步节点:在数据同步任务中,配置数据同步节点,将源文件作为输入。 设置动态表名:在数据同步节点的配置中,可以使用动态表名的方式,根据不同的源文件名来决定插入的目标表。 定义表名规则:你可以在数据同步节点的配置中定义表名规则,以根据源文件名生成目标表名。例如,可以使用正则表达式、字符串处理函数等来提取源文件名中的一部分作为目标表名的一部分。 运行数据同步任务:保存并运行数据同步任务,它将根据源文件名动态生成表名,并将数据插入到相应的表中。
xin在这AM 2023-11-27 18:28:49 2 如果oss文件名以及 mc表名的区别 是在于日期后缀的话 那可以用调度参数替换来实现 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
可以通过以下步骤实现这个需求:
创建数据同步任务:在DataWorks中,创建一个数据同步任务,用于将源文件数据传输到MaxCompute。
配置数据同步节点:在数据同步任务中,配置数据同步节点,将源文件作为输入。
设置动态表名:在数据同步节点的配置中,可以使用动态表名的方式,根据不同的源文件名来决定插入的目标表。
定义表名规则:你可以在数据同步节点的配置中定义表名规则,以根据源文件名生成目标表名。例如,可以使用正则表达式、字符串处理函数等来提取源文件名中的一部分作为目标表名的一部分。
运行数据同步任务:保存并运行数据同步任务,它将根据源文件名动态生成表名,并将数据插入到相应的表中。
如果oss文件名以及 mc表名的区别 是在于日期后缀的话 那可以用调度参数替换来实现 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”