DataWorks中离线同步读取MaxCompute(ODPS)表数据时,如何同步分区字段?[阿里云MaxCompute]

DataWorks中离线同步读取MaxCompute(ODPS)表数据时,如何同步分区字段?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 读取MaxCompute(ODPS)表数据时,想同步分区字段可以在字段映射处选择添加一行,输入分区列名,如分区列有pt等;

    读取MaxCompuet(ODPS)表数据时,想同步多个分区数据,先读取数据所在的分区信息。 ODPS的分区配置支持linux shell通配符,*表示0个或多个字符,?表示任意一个字符。 默认情况下,读取的分区必须存在,如果分区不存在则运行的任务会报错。如果您希望当分区不存在时任务仍然执行成功,则可以切换至脚本模式执行任务,并在ODPS的Parameter中添加”successOnNoPartition”: true配置。

    您还可以根据实际需求设置分区数据的获取条件(以下操作需要转脚本模式配置任务): 如果您需要指定最大分区,则可以添加/query/ ds=(select MAX(ds) from DataXODPSReaderPPR)配置信息。 如果需要按条件过滤,则可以添加相关条件/query/ pt+表达式配置。例如/query/ pt>=20170101 and pt<20170110表示获取pt分区中,20170101日期之后(包含20170101日期),至20170110日期之前(不包含20170110日期)的所有数据。

    说明  /query/表示将其后填写的内容识别为一个where条件。