嗨喽你好,请教一下,如果需要将ADB的数据实时同步至elasticsearch,用哪个工具会好一点呢?目前我们用的lagstash,但是数据缺失的话并不能及时发现,也不会报错,感觉不太友好
嗨喽你好,请教一下,如果需要将ADB的数据实时同步至elasticsearch,用哪个工具会好一点呢[阿里云检索分析服务 Elasticsearch版]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
嗨喽你好,请教一下,如果需要将ADB的数据实时同步至elasticsearch,用哪个工具会好一点呢?目前我们用的lagstash,但是数据缺失的话并不能及时发现,也不会报错,感觉不太友好
推荐dataworks
可以考虑一下Dataworks数据集成,此回答整理自钉群“Elasticsearch中文技术社区”
可以考虑使用Logstash的插件jdbc_streaming或者使用其他工具如Debezium、Maxwell等来进行实时数据同步。这些工具都可以实现数据的实时同步,并且可以提供更好的错误处理和报错机制。
在实际工作中,一般会用 logstash 或者 canal,简单说下两个根据的功能吧。
logstash:可以用于从多种数据源收集、转换和传输数据,包括将ADB中的数据同步到elasticsearch中。你可以使用a中的JDBC input插件来读取ADB中的数据,并将数据输出到elasticsearch中。关于数据缺失的问题,可以在logstash中配置日志输出,以便在出现问题时能够及时发现。
canal:是阿里巴巴开源的基于MySQL协议的增量数据订阅和消费框架,可以用于将MySQL和ADB中的数据同步到elasticsearch中。canal可以通过监听MySQL和ADB的binlog来捕获数据变化,然后将变化的数据发送到Elasticsearch中。由于canal是增量同步,因此相对于全量同步来说,不容易出现数据缺失的问题。
常见的有elasticsearch-dump、snapshot、reindex等方式。