tongchenkeji 发表于:2023-7-2 16:49:560次点击 已关注取消关注 关注 私信 Flink CDC对pg数据库可以同步整个库吗?postgresql数据库[阿里云实时计算 Flink版] 暂停朗读为您朗读 Flink CDC对pg数据库可以同步整个库吗?postgresql数据库 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 实时计算Flink版# PostgreSQL175# 云原生数据库 PolarDB905# 关系型数据库2577# 实时计算 Flink版3179# 数据库1310# 流计算2236
Star时光AM 2023-11-27 18:29:35 1 对于 PostgreSQL 数据库,Flink CDC 支持同步整个数据库的所有表。以下是具体操作步骤: 1. 首先,安装和启动 PgLogical 来避免同步暂停。可以使用以下命令: $ sudo -u postgres /usr/pgsql-11/bin/pglogical replicate setup --replication-sets my_replication --dbname=db_name --user=username --password=password --set=my_replication --pool=default 2. 在 Flink CDC 的配置文件中,指定要同步的数据库名称,并进行相应的配置,例如: connector.startup-modes = initialtable.catalog = catalogNametable.schema = schemaName...connector.uri = "postgresql://localhost:5432/database_name" 3. 运行 Flink CDC 作业。Flink CDC 会自动发现 PostgreSQL 数据库中的所有表,并进行 schema 解析和初始化。然后,它将实时消费表的变更事件(DML)。 用户还可以根据需要进行表的过滤或选择性同步: - 可以通过在配置文件中添加以下属性来过滤不需要同步的表: table.ignore-tables = exclude .ignore_this_table., exclude .another_table. - 或者,可以单独指定要同步的表: table.include-tables = only .need_to_sync_this_table. 使用以上配置方式,您可以让 Flink CDC 同步 PostgreSQL 数据库中的所有表或者选择特定的表进行同步。在初始化时,Flink CDC 会读取所有表的 schema,并实时消费变更日志。
算精通AM 2023-11-27 18:29:35 2 对于PostgreSQL数据库,Flink CDC支持同步整个数据库的所有表。具体操作步骤是:安装和启动PgLogical避免同步暂停shellCopy$ sudo -u postgres /usr/pgsql-11/bin/pglogical replicate setup –replication-sets my_replication –dbname=db_name –user=username –password=password –set=my_replication –pool=default在Flink CDC配置文件中,指定要同步的数据库名称propertiesCopyconnector.startup-modes = initial table.catalog = catalogNametable.schema = schemaName… connector.uri = “postgresql://localhost:5432/database_name”运行Flink CDC作业Flink CDC会自动发现PostgreSQL database中所有表,并进行schema解析和初始化。然后实时消费表的变更事件(DML)。用户可以过滤不需要同步的表propertiesCopytable.ignore-tables = exclude .ignore_this_table., exclude .another_table.用户也可以单独指定要同步的表propertiesCopytable.include-tables = only .need_to_sync_this_table.以上这种方式,可以让Flink CDC同步PostgreSQL database中的所有(或指定)表。初始化时会读取所有表的schema,然后实时消费变更日志。
对于 PostgreSQL 数据库,Flink CDC 支持同步整个数据库的所有表。以下是具体操作步骤:
1. 首先,安装和启动 PgLogical 来避免同步暂停。可以使用以下命令:
2. 在 Flink CDC 的配置文件中,指定要同步的数据库名称,并进行相应的配置,例如:
3. 运行 Flink CDC 作业。Flink CDC 会自动发现 PostgreSQL 数据库中的所有表,并进行 schema 解析和初始化。然后,它将实时消费表的变更事件(DML)。
用户还可以根据需要进行表的过滤或选择性同步:
- 可以通过在配置文件中添加以下属性来过滤不需要同步的表:
- 或者,可以单独指定要同步的表:
使用以上配置方式,您可以让 Flink CDC 同步 PostgreSQL 数据库中的所有表或者选择特定的表进行同步。在初始化时,Flink CDC 会读取所有表的 schema,并实时消费变更日志。
对于PostgreSQL数据库,Flink CDC支持同步整个数据库的所有表。
具体操作步骤是:
安装和启动PgLogical避免同步暂停
shell
Copy
$ sudo -u postgres /usr/pgsql-11/bin/pglogical replicate setup
–replication-sets my_replication
–dbname=db_name
–user=username
–password=password
–set=my_replication
–pool=default
在Flink CDC配置文件中,指定要同步的数据库名称
properties
Copy
connector.startup-modes = initial
table.catalog = catalogName
table.schema = schemaName
…
connector.uri = “postgresql://localhost:5432/database_name”
运行Flink CDC作业
Flink CDC会自动发现PostgreSQL database中所有表,并进行schema解析和初始化。然后实时消费表的变更事件(DML)。
用户可以过滤不需要同步的表
properties
Copy
table.ignore-tables = exclude .ignore_this_table., exclude .another_table.
用户也可以单独指定要同步的表
properties
Copy
table.include-tables = only .need_to_sync_this_table.
以上这种方式,可以让Flink CDC同步PostgreSQL database中的所有(或指定)表。
初始化时会读取所有表的schema,然后实时消费变更日志。