大佬些,能帮忙看下Flink CDC问题么。我这样写table-name有问题么?为啥没读取到sal[阿里云实时计算 Flink版]

大佬些,能帮忙看下Flink CDC问题么。我这样写table-name有问题么?为啥没读取到sales_explained_report_def表中的数据呢?postgres-cdc,sales_explainedreport[0-9]{8}能够匹配到,就sales_explained_report_def这个分区匹配不到,我的是分区表

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 使用了table-name作为参数,但是在代码中没有对table-name进行定义。因此,代码中应该存在语法错误,导致sal表没有被读取到。

    在使用FlinkCDCSource时,您需要正确设置sourceConfig参数。其中,sourceConfig参数应该包含以下几个配置项:

    connector.type: CDC连接器类型,可以是mysql-cdc、postgresql-cdc、oracle-cdc、sqlserver-cdc、mongodb-cdc等。
    hostname: 数据库服务器的主机名或IP地址。
    port: 数据库服务器的端口号。
    username: 数据库的用户名。
    password: 数据库的密码。
    database.server.name: 数据库服务器的名称。
    database.history: 数据库历史存储的类型,可以是memory、filesystem、jdbc等。
    database.history.file.filename: 数据库历史存储的文件名,仅在database.history为filesystem时有效。
    table.whitelist: 需要监听的表名列表,多个表名之间用逗号分隔。
    例如,如果您需要监听sal表,则可以设置table.whitelist为”sal”。

  2. 根据您提供的信息,我无法确定您使用的是哪个具体的 Flink CDC 连接器。不同的连接器可能有不同的配置参数和语法要求。因此,我将提供一般性的建议来排查问题。

    1. 检查表名的拼写和大小写:确保在配置文件中正确指定了表名,并且大小写与实际的表名匹配。请注意,某些数据库对于表名的大小写是敏感的。

    2. 检查连接器支持的正则表达式语法:如果您在表名中使用了正则表达式作为通配符,确保连接器支持该正则表达式语法。不同的连接器可能对正则表达式的支持程度有所不同。

    3. 查看日志文件以获取更多信息:检查 Flink Job 的日志文件,特别是与 CDC 和连接器相关的日志,以了解是否有任何异常、错误或警告信息。这可以帮助您判断连接器是否正确地解析了表名。

    4. 寻求 Flink 社区的帮助:如果仍然无法解决问题,请尝试向 Flink 社区寻求支持。您可以在社区中提问并提供更详细的信息,包括连接器类型、版本、配置文件内容和日志文件等,以便其他社区成员能够更好地帮助您解决问题。

  3. 什么连接器,此回答整理自钉群“Flink CDC 社区”