tongchenkeji 发表于:2023-3-13 17:11:000次点击 已关注取消关注 关注 私信 DataWorks数据集成新增任务时为啥只能新增离线同步任务,没有实时同步任务?[阿里云DataWorks] 暂停朗读为您朗读 DataWorks数据集成新增任务时为啥只能新增离线同步任务,没有实时同步任务? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 DataWorks# DataWorks3343# 大数据开发治理平台 DataWorks3946# 数据集成 Data Integration293
牧羊吖AM 2023-11-27 20:56:16 2 DataWorks数据集成节点会根据实际业务和技术需要对数据进行不同形式的同步。其中离线同步和实时同步模式是两种最常用的同步模式。 离线同步是指在一个时间段内,将数据库中的数据一次性批量同步到目标数据源中。离线同步策略适用于数据量较大,同步频率较低的场景。例如:每日凌晨同步订单数据到数据仓库中。 实时同步是指在数据源中的数据发生变化时,实时将变化的数据同步到目标数据源中。实时同步策略适用于数据量较小但更新频率较高的场景。例如:在线销售系统中实时同步订单数据到库存管理系统中。 在DataWorks数据集成节点,新增任务时只能新增离线同步任务是因为实时同步任务需要使用 Storm 任务进行同步,需要开启专用的实时同步通道,同时对性能和资源有更高的要求,需要提前单独申请。而离线同步任务则不需要专用的通道,数据处理过程可以用计算资源较少的 MapReduce 任务来完成。若需要使用实时同步,请联系阿里云技术支持进行申请和配置。
支持新建实时任务的——该回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks数据集成节点会根据实际业务和技术需要对数据进行不同形式的同步。其中离线同步和实时同步模式是两种最常用的同步模式。
离线同步是指在一个时间段内,将数据库中的数据一次性批量同步到目标数据源中。离线同步策略适用于数据量较大,同步频率较低的场景。例如:每日凌晨同步订单数据到数据仓库中。
实时同步是指在数据源中的数据发生变化时,实时将变化的数据同步到目标数据源中。实时同步策略适用于数据量较小但更新频率较高的场景。例如:在线销售系统中实时同步订单数据到库存管理系统中。
在DataWorks数据集成节点,新增任务时只能新增离线同步任务是因为实时同步任务需要使用 Storm 任务进行同步,需要开启专用的实时同步通道,同时对性能和资源有更高的要求,需要提前单独申请。而离线同步任务则不需要专用的通道,数据处理过程可以用计算资源较少的 MapReduce 任务来完成。若需要使用实时同步,请联系阿里云技术支持进行申请和配置。