tongchenkeji 发表于:2023-5-29 11:30:330次点击 已关注取消关注 关注 私信 你们之前用的啥方式部署机器学习PAI的flink?[阿里云机器学习PAI] 暂停朗读为您朗读 你们之前用的啥方式部署机器学习PAI的flink? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# 人工智能平台 PAI1410# 实时计算 Flink版3179# 机器学习深度学习1219# 流计算2236
哪都带你去AM 2023-11-28 2:52:28 1 可以考虑这几个方式,1、Flinke on YARN 2、Flink on Kubernetes 3、Flink on Standalone Mode 根据具体需求和环境,选择合适的部署方式。在选择部署方式时,请确保您的环境满足相应的依赖和要求,并参考阿里云机器学习平台(PAI)的文档和示例代码
牧羊吖AM 2023-11-28 2:52:28 2 在PAI中,可以通过以下步骤部署Flink: 创建一个Flink集群:在PAI控制台中,选择“Flink”->“创建”,填写相关信息并提交。待Flink集群创建完成后,在控制台上可以看到Flink的相关信息,如Flink UI的访问地址等。 上传Flink任务代码:将Flink任务代码上传到PAI的OSS中,并记录好对应的OSS路径。 在Flink集群中提交任务:进入Flink集群的详情页,点击“提交任务”,在弹出的对话框中填写任务信息,包括任务名称、任务类型(Jar包)、OSS路径、主类名和参数等,提交后Flink会自动启动任务并执行。 注意事项: Flink集群的计算资源需要根据任务规模进行调整,以充分利用集群的计算资源。 上传代码和提交任务时需要注意权限和文件路径的设置。 Flink任务中使用的数据需要预先通过PAI的数据存储服务(如OSS、HDFS等)进行存储,并根据实际情况进行调整和优化。 Flink任务中使用的第三方依赖库需要预先安装在Flink集群中的所有节点上,以保证任务的正常运行。
可以考虑这几个方式,1、Flinke on YARN 2、Flink on Kubernetes 3、Flink on Standalone Mode
根据具体需求和环境,选择合适的部署方式。在选择部署方式时,请确保您的环境满足相应的依赖和要求,并参考阿里云机器学习平台(PAI)的文档和示例代码
在PAI中,可以通过以下步骤部署Flink:
创建一个Flink集群:在PAI控制台中,选择“Flink”->“创建”,填写相关信息并提交。待Flink集群创建完成后,在控制台上可以看到Flink的相关信息,如Flink UI的访问地址等。
上传Flink任务代码:将Flink任务代码上传到PAI的OSS中,并记录好对应的OSS路径。
在Flink集群中提交任务:进入Flink集群的详情页,点击“提交任务”,在弹出的对话框中填写任务信息,包括任务名称、任务类型(Jar包)、OSS路径、主类名和参数等,提交后Flink会自动启动任务并执行。
注意事项:
Flink集群的计算资源需要根据任务规模进行调整,以充分利用集群的计算资源。
上传代码和提交任务时需要注意权限和文件路径的设置。
Flink任务中使用的数据需要预先通过PAI的数据存储服务(如OSS、HDFS等)进行存储,并根据实际情况进行调整和优化。
Flink任务中使用的第三方依赖库需要预先安装在Flink集群中的所有节点上,以保证任务的正常运行。