实例模式添加数据源: RDS(MySQL、PostgreSQL和SQLServer)、POLARDB、DRDS、HybridDB for MySQL、AnalyticDB for PostgreSQL和AnalyticDB for MySQL3.0等实例模式添加的数据源,DataWorks会根据任务执行情况执行环境,自动下发合适可用的链接地址,支持测试连通性和使用默认资源组同步任务。 Redis、MongoDB和AnalyticDB for MySQL2.0支持实例模式添加数据源,不支持反向VPC和测试连通性,需要使用数据集成自定义资源组或独享数据集成资源同步任务,需要使用脚本模式配置任务。 有公网:支持测试连通性;支持测试连通性,需要使用JdbcUrl模式添加数据源。建议优先使用实例模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制。 经典网络 如果数据源和DataWorks在相同的区域,支持测试连通性,需要使用JdbcUrl模式添加数据源。 如果数据源和DataWorks在不同的区域,则不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组同步任务,且需要通过脚本模式配置任务。 建议优先使用实例模式添加数据源。 专有网络VPC内部地址:不支持测试连通性,支持通过JdbcUrl模式添加数据源。需要使用数据集成自定义资源组或独享数据集成资源同步任务,且需要通过脚本模式配置任务。建议优先使用实例模式添加数据源。
在DataWorks中,数据源测试连通性是一项功能,用于验证配置的数据源是否可以正常连接和访问。通过进行测试连通性,你可以确认数据源的网络设置以及提供的连接参数是否正确,并检查与数据源之间的网络连接是否畅通。
测试连通性的步骤如下:
测试连通性的结果可能有以下几种情况:
在DataWorks中,数据源测试连通性是指通过测试功能来验证DataWorks是否能够成功连接到所配置的数据源,并判断网络连接是否正常、配置信息是否正确。
一般情况下,执行数据源测试连通性的步骤如下:
在DataWorks中,测试数据源的连通性是通过“测试连通性”功能来实现的。测试连通性是指检查数据源是否可以成功连接,以及是否可以正常读取数据。
要测试数据源的连通性,请按照以下步骤操作:
登录DataWorks数据开发控制台,选择需要测试的工程。
在工程中选择“数据开发” -> “数据源”菜单。
在数据源列表中,找到需要测试的数据源,点击该数据源右侧的“操作”列中的“更多”按钮,在下拉菜单中选择“测试连通性”。
在弹出的“测试连通性”对话框中,填写数据源的连接信息和验证信息,然后点击“测试”按钮。
系统会自动测试数据源的连通性,并在对话框中显示测试结果。
测试结果分为两种情况:成功和失败。如果测试结果为成功,则说明数据源可以正常连接和读取数据;如果测试结果为失败,则需要检查数据源的连接信息和验证信息,或者检查数据源是否正常运行。
需要注意的是,测试连通性只是测试数据源的连接和读取能力,不能保证数据源中的数据准确无误。如果需要验证数据的准确性和完整性,还需要进行数据抽样和数据对比等操作。
以关系数据库jdbcUrl为例(其他数据源如hdfs、redis、mogodb对应连接地址约束等价),
本地IDC:
有公网:数据源支持测试连通性,需要使用JdbcUrl模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制,详情请参见数据集成公网流量计费项。
无公网:
数据源不支持测试连通性,并且需要通过脚本模式配置任务。支持通过JdbcUrl模式添加数据源,如果您已打通本地IDC和专有网络,请购买独享数据集成资源后,提交工单进行处理。您也可以升级至DataWorks专业版,通过数据集成自定义资源组同步任务。
ECS自建数据源:
有公网:支持测试连通性,需要使用JdbcUrl模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制,详情请参见数据集成公网流量计费项。
经典网络:
如果和DataWorks在相同的区域,支持测试连通性和通过JdbcUrl模式添加数据源,可以直接使用默认资源组运行,该方式不推荐使用。
如果和DataWorks在不同的区域,则不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组同步任务,且需要通过脚本模式配置任务,详情请参见通过脚本模式配置任务。
经典网络ECS上自建的数据源,不保证默认资源组网络可通,建议您使用数据集成自定义资源组同步任务。如果使用数据集成自定义资源组或网络不通,需要通过脚本模式配置任务。
建议您迁移数据源至专有网络。
专有网络VPC内部地址:不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组或独享数据集成资源同步任务,且需要通过脚本模式配置任务。
阿里云产品:
实例模式添加数据源:
RDS(MySQL、PostgreSQL和SQLServer)、POLARDB、DRDS、HybridDB for MySQL、AnalyticDB for PostgreSQL和AnalyticDB for MySQL3.0等实例模式添加的数据源,DataWorks会根据任务执行情况执行环境,自动下发合适可用的链接地址,支持测试连通性和使用默认资源组同步任务。
Redis、MongoDB和AnalyticDB for MySQL2.0支持实例模式添加数据源,不支持反向VPC和测试连通性,需要使用数据集成自定义资源组或独享数据集成资源同步任务,需要使用脚本模式配置任务。
有公网:支持测试连通性;支持测试连通性,需要使用JdbcUrl模式添加数据源。建议优先使用实例模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制。
经典网络
如果数据源和DataWorks在相同的区域,支持测试连通性,需要使用JdbcUrl模式添加数据源。
如果数据源和DataWorks在不同的区域,则不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组同步任务,且需要通过脚本模式配置任务。
建议优先使用实例模式添加数据源。
专有网络VPC内部地址:不支持测试连通性,支持通过JdbcUrl模式添加数据源。需要使用数据集成自定义资源组或独享数据集成资源同步任务,且需要通过脚本模式配置任务。建议优先使用实例模式添加数据源。
例如,MaxCompute、OSS和LogHub等其它区域中心化服务的产品,包括3种类型的endpoint,您根据自身需求进行选择即可。
注意:
HDFS、Redis和MongoDB等其它数据源对应连接地址的约束和关系型数据库一致。
选择数据源连接地址时,需要和任务配置模式(包括向导模式和脚本模式)、任务实际执行资源组(包括默认资源组、自定义资源组和独享数据集成资源组)配合,让运行任务的资源组可以访问数据源。
由于数据存储的特性,建议HBase数据源和HDFS数据源使用自定义资源组或独享数据集成资源组。
金融云的数据源支持网络连通和通过实例模式添加数据源。如果网络不通,请使用自定义资源组同步任务。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”