嗨喽你好,请教一下,如果需要将ADB的数据实时同步至elasticsearch,用哪个工具会好一点呢[阿里云检索分析服务 Elasticsearch版]

嗨喽你好,请教一下,如果需要将ADB的数据实时同步至elasticsearch,用哪个工具会好一点呢?目前我们用的lagstash,但是数据缺失的话并不能及时发现,也不会报错,感觉不太友好

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
4 条回复 A 作者 M 管理员
  1. 推荐dataworks

  2. 可以考虑一下Dataworks数据集成,此回答整理自钉群“Elasticsearch中文技术社区”

  3. 可以考虑使用Logstash的插件jdbc_streaming或者使用其他工具如Debezium、Maxwell等来进行实时数据同步。这些工具都可以实现数据的实时同步,并且可以提供更好的错误处理和报错机制。

  4. 在实际工作中,一般会用 logstash 或者 canal,简单说下两个根据的功能吧。

    1. logstash:可以用于从多种数据源收集、转换和传输数据,包括将ADB中的数据同步到elasticsearch中。你可以使用a中的JDBC input插件来读取ADB中的数据,并将数据输出到elasticsearch中。关于数据缺失的问题,可以在logstash中配置日志输出,以便在出现问题时能够及时发现。

    2. canal:是阿里巴巴开源的基于MySQL协议的增量数据订阅和消费框架,可以用于将MySQL和ADB中的数据同步到elasticsearch中。canal可以通过监听MySQL和ADB的binlog来捕获数据变化,然后将变化的数据发送到Elasticsearch中。由于canal是增量同步,因此相对于全量同步来说,不容易出现数据缺失的问题。

  5. 常见的有elasticsearch-dump、snapshot、reindex等方式。