tongchenkeji 发表于:2022-9-22 10:41:130次点击 已关注取消关注 关注 私信 实时同步数据到odps后,当天的分区数据只能第二天看到?[阿里云DataWorks] 暂停朗读为您朗读 实时同步数据到odps后,当天的分区数据只能第二天看到? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 DataWorks# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据开发治理平台 DataWorks3946
六月的雨在钉钉AM 2023-11-27 21:05:53 2 在进行同步任务配置时,根据需要同步的来源与去向数据源,及DataWorks各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置,这里看到针对ODPS的实时同步仅支持单表增量写、整库增量写,而不支持单表增量读、整库增量读,具体可以参考 官方文档地址:https://help.aliyun.com/document_detail/181656.htm,另外需要注意的是实时同步仅支持与当前工作空间同地域的自建MaxCompute数据源,跨地域的MaxCompute项目在测试数据源服务连通性时可以正常连通,但同步任务执行时,在MaxCompute建表阶段会报引擎不存在的错误。关于一键实时同步至MaxCompute更多内容可以参考文档:https://help.aliyun.com/document_detail/175676.html
三掌柜666AM 2023-11-27 21:05:53 3 实时同步数据到odps后,当天的分区数据只能第二天看到的原因就是在DataWorks上不支持实时同步,要想实时同步需要发布到生产环境中才行。
魏红斌AM 2023-11-27 21:05:53 5 实时同步不支持在DataWorks的界面上直接运行,您需要在配置好实时同步任务后,提交并发布实时同步节点后,进入生产环境运行该节点,着急的话可以新建一个临时查询 用sql查询数据
DataWorks是不支持实时同步的,除非您配置实时同步节点。
在进行同步任务配置时,根据需要同步的来源与去向数据源,及DataWorks各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置,这里看到针对ODPS的实时同步仅支持单表增量写、整库增量写,而不支持单表增量读、整库增量读,具体可以参考 官方文档地址:https://help.aliyun.com/document_detail/181656.htm,另外需要注意的是实时同步仅支持与当前工作空间同地域的自建MaxCompute数据源,跨地域的MaxCompute项目在测试数据源服务连通性时可以正常连通,但同步任务执行时,在MaxCompute建表阶段会报引擎不存在的错误。关于一键实时同步至MaxCompute更多内容可以参考文档:https://help.aliyun.com/document_detail/175676.html
实时同步数据到odps后,当天的分区数据只能第二天看到的原因就是在DataWorks上不支持实时同步,要想实时同步需要发布到生产环境中才行。
实时同步需要发布生产后才能运行, 随用随取可以先用 sql 查询
实时同步不支持在DataWorks的界面上直接运行,您需要在配置好实时同步任务后,提交并发布实时同步节点后,进入生产环境运行该节点,着急的话可以新建一个临时查询 用sql查询数据