请问,我用dataworks集成资源归集150w左右的数据,5分钟完事,用开源的datax归集,现在得一个多小时,之前用开源的datax归集才5分钟就完事了,请问有人对写入odps的引擎做了限制吗?
请问有人对写入odps的引擎做了限制吗?[阿里云DataWorks]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
请问,我用dataworks集成资源归集150w左右的数据,5分钟完事,用开源的datax归集,现在得一个多小时,之前用开源的datax归集才5分钟就完事了,请问有人对写入odps的引擎做了限制吗?
这个说实话不好判断,理论上跟归集任务所需的资源(例如CPU、内存、网络带宽等)有一定关系。
没有做特殊限制 传输速度和并发数网络等都有关系。此答案整理自钉群“DataWorks交流群(答疑@机器人)”
在MaxCompute中上传下载数据时的使用限制可以参考文档