Flink CDC对pg数据库可以同步整个库吗?postgresql数据库[阿里云实时计算 Flink版]

Flink CDC对pg数据库可以同步整个库吗?postgresql数据库

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 对于 PostgreSQL 数据库,Flink CDC 支持同步整个数据库的所有表。以下是具体操作步骤:

    1. 首先,安装和启动 PgLogical 来避免同步暂停。可以使用以下命令:

    $ sudo -u postgres /usr/pgsql-11/bin/pglogical replicate setup --replication-sets my_replication --dbname=db_name --user=username --password=password --set=my_replication --pool=default

    2. 在 Flink CDC 的配置文件中,指定要同步的数据库名称,并进行相应的配置,例如:

    connector.startup-modes = initialtable.catalog = catalogNametable.schema = schemaName...connector.uri = "postgresql://localhost:5432/database_name"

    3. 运行 Flink CDC 作业。Flink CDC 会自动发现 PostgreSQL 数据库中的所有表,并进行 schema 解析和初始化。然后,它将实时消费表的变更事件(DML)。

    用户还可以根据需要进行表的过滤或选择性同步:

    - 可以通过在配置文件中添加以下属性来过滤不需要同步的表:

    table.ignore-tables = exclude .ignore_this_table., exclude .another_table.

    - 或者,可以单独指定要同步的表:

    table.include-tables = only .need_to_sync_this_table.

    使用以上配置方式,您可以让 Flink CDC 同步 PostgreSQL 数据库中的所有表或者选择特定的表进行同步。在初始化时,Flink CDC 会读取所有表的 schema,并实时消费变更日志。

  2. 对于PostgreSQL数据库,Flink CDC支持同步整个数据库的所有表。
    具体操作步骤是:
    安装和启动PgLogical避免同步暂停
    shell
    Copy
    $ sudo -u postgres /usr/pgsql-11/bin/pglogical replicate setup
    –replication-sets my_replication
    –dbname=db_name
    –user=username
    –password=password
    –set=my_replication
    –pool=default
    在Flink CDC配置文件中,指定要同步的数据库名称
    properties
    Copy
    connector.startup-modes = initial

    table.catalog = catalogName
    table.schema = schemaName

    connector.uri = “postgresql://localhost:5432/database_name”
    运行Flink CDC作业
    Flink CDC会自动发现PostgreSQL database中所有表,并进行schema解析和初始化。然后实时消费表的变更事件(DML)。
    用户可以过滤不需要同步的表
    properties
    Copy
    table.ignore-tables = exclude .ignore_this_table., exclude .another_table.
    用户也可以单独指定要同步的表
    properties
    Copy
    table.include-tables = only .need_to_sync_this_table.
    以上这种方式,可以让Flink CDC同步PostgreSQL database中的所有(或指定)表。
    初始化时会读取所有表的schema,然后实时消费变更日志。