在机器学习PAI时将数据存到MySQL时数据量比较小时不能落库怎么办?[阿里云机器学习PAI]

请问在机器学习PAI使用CatalogSinkStreamOp将数据存到MySQL时,数据量比较小时不能落库 有人遇到过这个问题吗?
5000条数据以上才能落库 是不是有相关配置设置这个阈值 文档里对这部分也没找到相关的配置

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 我了解到,PAI StreamSQL CatalogSinkStreamOp 插件并没有明确的阈值限制,即您可以在任何数据量下将数据发送到 MySQL 数据库。根据我的搜索结果,出现这种情况的原因可能是由于服务器连接 MySQL 数据库出现了问题。
    一种可能性是数据库连接超时。PAI StreamSQL CatalogSinkStreamOp 插件可能会等待一段时间来连接数据库,如果您未设置足够长的超时时间,那么较少量数据可能无法及时发送到 MySQL 数据库中。
    另一个可能性是您的 MySQL 数据库已经存在大量的空闲连接,导致新连接无法建立。此时,您需要联系数据库管理员进行调试。
    还有一种可能性是您的 MySQL 数据库存储限制了最大连接数量。在这种情况下,您需要增加数据库的最大连接数以允许更多的连接。
    建议您阅读 PAI StreamSQL 文档中关于 CatalogSinkStreamOp 的文档,了解其详细信息,或者尝试调高 MySQL 数据库的超时时间或最大连接数,以减少潜在问题。如果有其他问题,请查看 PAI StreamSQL 的文档,以了解更多关于配置方面的信息。

  2. 有缓存,这个当前应该还没这个flag—此回答来自钉群“Alink开源–用户群”