Flink这个问题怎么解决？年前任务
所需要的技术
FlinkSQL TiDB Doris Paimon HDFS Kafka
FlinkSQL 数据同步（ODS），数据清洗（DWD DIM）数据统计 （DWS）
1，将MySQL数据同步到 Paimon ODS层 并同步到Doris 对应ODS库
2，通过Paimon数据湖进行数据DWD的清洗写入到Kafka 和 Paimon
3，通过Kafka DWD层数据进行清洗 写入TiDB DIM DWS层
Paimon只保留 ODS DWD数据，Doris 也只保留ODS数据
Doris开放给提数，进行数据隔离
TiDB只保存生产环境需要查询的数据
后续Flink版本 1.14 CDC 2.4
TiDB版本 最新版本 需要部署TiFlash
Doris使用最新版本
Kafka最新版本
CDCSOURCE 整库同步 Paimon 和 Doris 需要验证
我们现在的问题是，离线一套实时一套，数据有问题的话，通过离线的修复，有时候还会有问题
jojoki14:01成本过高，我现在想通过数据湖，Kafka MySQL数据通过FlinkSQL 同步到Paimon 的ODS层
然后通过Paimon进行数据清洗，通过FlinkSQL同步到Kafka DWD 和DIM 或者继续写入到Paimon
jojoki14:03这样的话，如果实时数据有问题的话，我这里只需要在Paimon ODS 做一个分区字段 过滤，重启一下就可以把数据重新推送一次。