tongchenkeji
发表于：0次点击

在DataWorks里面用pai执行easyrec，怎么指定tensorflow版本呢？[阿里云机器学习PAI]

机器学习PAI在DataWorks里面用pai执行easyrec，怎么指定tensorflow版本呢？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
机器学习PAI# DataWorks3343# TensorFlow46# 人工智能平台 PAI1410# 大数据开发治理平台 DataWorks3946# 机器学习深度学习1219# 算法框架工具77
=====这是一个广告位，招租中，联系qq 78315851====
机器学习PAI
想问下机器学习PAI中swing的详细计算公式是什么呢？[阿里云机器学习PAI]
云数据库 Redis 版
今天阿里开会的内容是什么[阿里云数据库 Redis 版]
4 条回复 A 作者 M 管理员

  1. 可以通过在”执行计算环境”中选择自定义环境，然后指定对应的tensorflow版本来实现。

    具体步骤：

    1. 首先，在DataWorks中进入我们的EasyRec任务，打开我们需要指定TensorFlow版本的action节点。

    2. 点击”执行计算环境”，选择”自定义环境”。

    3. 在弹出的”自定义执行环境”界面中，选择”运行方式”，这里我们选择”PAI集群版本环境”。

    4. 点击”高级设置”，在”镜像版本/自定义”中填写自己想要的TensorFlow版本。

    5. 根据自己的需求，填写”CPU核数”、”内存”、”磁盘容量”等信息。

    6. 配置完成后，点击”确定”。

    7. 接下来就可以运行任务，以指定版本的TensorFlow对EasyRec任务进行训练或测试了。

    已喜欢 已反对

  2. 您好，对于在DataWorks中使用PAI执行easyrec时指定tensorflow版本，可以通过修改训练算法脚本中的依赖项或者在脚本中指定所需的tensorflow版本来实现。具体步骤如下：

    打开DataWorks中的PAI Studio，进入easyrec工程的训练算法脚本。

    在脚本中找到依赖项部分，可以看到已安装的tensorflow版本，例如：

    !pip install tensorflow==1.15 修改所需的tensorflow版本号，例如，如果需要使用tensorflow 2.0版本，可修改为： !pip install tensorflow==2.0 保存修改后的脚本。

    点击提交任务，DataWorks会自动执行所编写的训练算法脚本，并按照指定的tensorflow版本进行训练。

    另外，如果您在使用PAI执行easyrec时遇到任何问题，可以查看DataWorks中PAI Studio的日志信息，以排查和解决问题。

    已喜欢 已反对

  3. 如果不是shell节点，可以用-name tensorflow版本号 指定版本，如果是spark节点，可以在submit的低手用–conf spark.excutorEnv.EASYREC_TF_VERSION=tensorfflow版本号来执行

    已喜欢 已反对
    • 可以在DataWorks中的PAI命令中添加如下参数来指定TensorFlow版本：

    --script "PAI_USER_SCRIPT=your_script.sh" --conf "PAI_CONTAINER_DOCKER_IMAGE=registry.cn-hangzhou.aliyuncs.com/pai-ai-algorithm/tensorflow-1.15.2-gpu:git907b45d-cudnn7-dev-ubuntu16.04"

    • 其中，registry.cn-hangzhou.aliyuncs.com/pai-ai-algorithm/tensorflow-1.15.2-gpu:git907b45d-cudnn7-dev-ubuntu16.04 是 TensorFlow 1.15.2 GPU 版本的Docker镜像地址。您可以在PAI官网上查看可用的TensorFlow版本和对应的Docker镜像。同时，也可以将其替换成您需要使用的版本。your_script.sh是您的PAI脚本。

    • 例如，您可以创建一个名为easyrec_pai_script.sh的文件，其内容包含easyrec的执行命令，并且在DataWorks中PAI的执行命令中指定所需的TensorFlow版本，示例如下：

    pai -name tensorflow -Dscript="PAI_USER_SCRIPT=easyrec_pai_script.sh" -Drun:gpuRequired=true -Dtensorflow_version=1.15.2-gpu --project algo_platform --cpu 2 --gpu 1 --memory 16G --workspace hdfs://your_hdfs_path--conf "PAI_CONTAINER_DOCKER_IMAGE=registry.cn-hangzhou.aliyuncs.com/pai-ai-algorithm/tensorflow-1.15.2-gpu:git907b45d-cudnn7-dev-ubuntu16.04"

    已喜欢 已反对

  5. 不能指定，默认1.12，此回答整理自钉群“【EasyRec】推荐算法交流群”

    已喜欢 已反对