tongchenkeji 发表于:2023-5-1 9:52:120次点击 已关注取消关注 关注 私信 请问下flink实时写maxcompute,会有限流吗?比如每秒最多不能超过多少条数据量之类的[阿里云MaxCompute] 暂停朗读为您朗读 请问下flink实时写maxcompute,会有限流吗?比如每秒最多不能超过多少条数据量之类的 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 实时计算 Flink版3179# 流计算2236
微笑向日葵AM 2023-11-27 18:21:57 1 我看文档上没有对这个限制,可以看下 https://help.aliyun.com/document_detail/202161.html?spm=a2c4g.51656.0.0.73fc697fd1hYhT#section-gwl-ggg-j8f,此回答整理自钉群“MaxCompute开发者社区2群”
飞云觅宙AM 2023-11-27 18:21:57 2 实时计算Flink版内置插件支持通过批量数据通道写入MaxCompute,受到批量数据通道并发数及存储文件数影响,内置版本插件会有性能瓶颈。MaxCompute提供了使用流式数据通道的Flink插件,支持使用Flink在高并发、高QPS场景下写入MaxCompute。 该功能的使用限制如下: 本插件仅支持Blink 3.2.1及以上版本。 MaxCompute中的聚簇表不支持作为MaxCompute结果表。 实时计算Flink版可以调用MaxCompute SDK中的接口将数据写入缓冲区,当缓冲区的大小超过指定的大小(默认为1 MB)或每隔指定的时间间隔时,将数据上传至MaxCompute结果表中。 说明 建议Flink同步MaxCompute并发数大于32或Flush间隔小于60秒的场景下,使用MaxCompute自定义插件。其他场景可以随意选择Flink内置插件和MaxCompute自定义插件。
我看文档上没有对这个限制,可以看下 https://help.aliyun.com/document_detail/202161.html?spm=a2c4g.51656.0.0.73fc697fd1hYhT#section-gwl-ggg-j8f,此回答整理自钉群“MaxCompute开发者社区2群”
实时计算Flink版内置插件支持通过批量数据通道写入MaxCompute,受到批量数据通道并发数及存储文件数影响,内置版本插件会有性能瓶颈。MaxCompute提供了使用流式数据通道的Flink插件,支持使用Flink在高并发、高QPS场景下写入MaxCompute。
该功能的使用限制如下: 本插件仅支持Blink 3.2.1及以上版本。 MaxCompute中的聚簇表不支持作为MaxCompute结果表。
实时计算Flink版可以调用MaxCompute SDK中的接口将数据写入缓冲区,当缓冲区的大小超过指定的大小(默认为1 MB)或每隔指定的时间间隔时,将数据上传至MaxCompute结果表中。
说明 建议Flink同步MaxCompute并发数大于32或Flush间隔小于60秒的场景下,使用MaxCompute自定义插件。其他场景可以随意选择Flink内置插件和MaxCompute自定义插件。