在DataWorks我看其他有些小表,一样的配置,是不会切分的,只有一个,这是为什么?[阿里云DataWorks]

在DataWorks我看其他有些小表,一样的配置,是不会切分的,只有一个,这是为什么?https://di-cn-hangzhou.data.aliyun.com/web/di/instanceLog?id=851465273&resourceGroup=S_res_group_276192026677312_1624093026080&requestId=5807798294_0_T3_2591770411&projectId=32718 https://di-cn-hangzhou.data.aliyun.com/web/di/instanceLog?id=850978770&resourceGroup=S_res_group_276192026677312_1624093026080&requestId=5807871051_0_T3_2590225580&projectId=32718

这个是没被切分的。俩任务的配置都是一样的,都是默认两个并发,全量抽取不做where限定

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 从日志信息中可以看到,该任务使用了 MySQL Writer 组件将数据写入到 MySQL 数据库中。在 MySQL Writer 组件的配置中,有一个参数是“并行度”,用于指定数据写入的并发度。

    如果该小表的数据量比较小,可能会导致并行度设置不起作用。在这种情况下,数据会被写入到目标表的一个分区中,而不会进行水平切分。此外,如果目标表中已经存在数据,也可能会导致并行度设置不起作用,因为 MySQL Writer 组件会将数据写入到已有数据的后面,而不会进行水平切分。

    如果您希望将数据水平切分到多个分区中,可以尝试调整 MySQL Writer 组件的并行

  2. 这两份从日志上看都是切分了11个task 有多条sql 此回答整理自钉群“DataWorks0群已满,新群请看群公告”

  3. 在DataWorks中,小表的切分是由系统自动进行的,但有些小表可能不会被切分,可能有以下几种原因:

    切分策略问题:有些小表可能因为切分策略的原因而没有被切分。在DataWorks中,可以通过设置表的切分策略来控制表的切分方式,例如可以根据时间、字段、数据量等条件进行切分。如果表的切分策略设置不正确,可能会导致表无法被切分。 数据量问题:有些小表可能因为数据量太小而没有被切分。在DataWorks中,如果某个表的数据量太小,系统可能会将其作为一个整体进行处理,而不是将其切分为多个部分。 数据格式问题:有些小表可能因为数据格式的问题而没有被切分。在DataWorks中,如果表中的数据格式比较特殊或不符合系统要求,可能会导致表无法被切分。 系统配置问题:有些小表可能因为系统配置的问题而没有被切分。在DataWorks中,如果系统的配置参数设置不正确,可能会导致表无法被切分。 如果您希望对小表进行切分,可以尝试检查表的切分策略、数据量、数据格式和系统配置等因素,并根据需要进行调整。同时,您也可以联系DataWorks的技术支持团队,获取更详细的帮助和支持。