tongchenkeji 发表于:2023-6-26 14:00:260次点击 已关注取消关注 关注 私信 DataWorks中离线同步读取MaxCompute(ODPS)表数据时,如何同步分区字段?[阿里云MaxCompute] 暂停朗读为您朗读 DataWorks中离线同步读取MaxCompute(ODPS)表数据时,如何同步分区字段? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# DataWorks3343# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据开发治理平台 DataWorks3946
飞云觅宙AM 2023-11-27 17:58:43 1 读取MaxCompute(ODPS)表数据时,想同步分区字段可以在字段映射处选择添加一行,输入分区列名,如分区列有pt等; 读取MaxCompuet(ODPS)表数据时,想同步多个分区数据,先读取数据所在的分区信息。 ODPS的分区配置支持linux shell通配符,*表示0个或多个字符,?表示任意一个字符。 默认情况下,读取的分区必须存在,如果分区不存在则运行的任务会报错。如果您希望当分区不存在时任务仍然执行成功,则可以切换至脚本模式执行任务,并在ODPS的Parameter中添加”successOnNoPartition”: true配置。 您还可以根据实际需求设置分区数据的获取条件(以下操作需要转脚本模式配置任务): 如果您需要指定最大分区,则可以添加/query/ ds=(select MAX(ds) from DataXODPSReaderPPR)配置信息。 如果需要按条件过滤,则可以添加相关条件/query/ pt+表达式配置。例如/query/ pt>=20170101 and pt<20170110表示获取pt分区中,20170101日期之后(包含20170101日期),至20170110日期之前(不包含20170110日期)的所有数据。 说明 /query/表示将其后填写的内容识别为一个where条件。
xin在这AM 2023-11-27 17:58:43 2 请在字段映射处选择添加一行,输入分区列明,如分区列有pt等; https://help.aliyun.com/document_detail/146663.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
读取MaxCompute(ODPS)表数据时,想同步分区字段可以在字段映射处选择添加一行,输入分区列名,如分区列有pt等;
读取MaxCompuet(ODPS)表数据时,想同步多个分区数据,先读取数据所在的分区信息。 ODPS的分区配置支持linux shell通配符,*表示0个或多个字符,?表示任意一个字符。 默认情况下,读取的分区必须存在,如果分区不存在则运行的任务会报错。如果您希望当分区不存在时任务仍然执行成功,则可以切换至脚本模式执行任务,并在ODPS的Parameter中添加”successOnNoPartition”: true配置。
您还可以根据实际需求设置分区数据的获取条件(以下操作需要转脚本模式配置任务): 如果您需要指定最大分区,则可以添加/query/ ds=(select MAX(ds) from DataXODPSReaderPPR)配置信息。 如果需要按条件过滤,则可以添加相关条件/query/ pt+表达式配置。例如/query/ pt>=20170101 and pt<20170110表示获取pt分区中,20170101日期之后(包含20170101日期),至20170110日期之前(不包含20170110日期)的所有数据。
说明 /query/表示将其后填写的内容识别为一个where条件。
请在字段映射处选择添加一行,输入分区列明,如分区列有pt等; https://help.aliyun.com/document_detail/146663.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”