tongchenkeji
发表于：0次点击

在机器学习PAI怎么把sklearn训练的模型直接转成alink的模型用？[阿里云机器学习PAI]

在机器学习PAI怎么把sklearn训练的模型直接转成alink的模型用？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
机器学习PAI# 人工智能平台 PAI1410# 机器学习深度学习1219
=====这是一个广告位，招租中，联系qq 78315851====
机器学习PAI
在机器学习PAI8个字段，140万行数据的hive表读取需要13分钟，有什么好的办法能提高读取速度？[阿里云机器学习PAI]
机器学习PAI
在机器学习PAI有个算子处理数据不均衡，请问这是什么原因呢？[阿里云机器学习PAI]
3 条回复 A 作者 M 管理员

  1. 下面是将Scikit-learn模型转换为Alink模型的步骤：

    1. 使用Scikit-learn训练模型并保存模型文件，例如使用joblib保存：
    import joblibfrom sklearn.linear_model import LogisticRegression# 训练模型clf = LogisticRegression(random_state=0).fit(X, y)# 保存模型joblib.dump(clf, "model.joblib")

    1. 在PAI平台上创建Alink任务，选择“转换模型”任务类型，并设置输入和输出路径。

    2. 在Alink任务中添加以下代码：

    import joblibfrom sklearn2pmml import sklearn2pmmlfrom alink_model_conversion_utils import save_pmml_model_to_oss# 加载Scikit-learn模型clf = joblib.load("/input/model.joblib")# 将Scikit-learn模型转换为PMML格式pmml_bytes = sklearn2pmml(clf, X.columns.tolist(), "output")# 将PMML格式的模型保存到OSSsave_pmml_model_to_oss(pmml_bytes, "oss:///.pmml")

    其中，alink_model_conversion_utils是Alink提供的模型转换工具包，可以在Alink任务中直接使用。save_pmml_model_to_oss函数将PMML格式的模型保存到OSS。

    1. 提交Alink任务并等待任务完成。完成后，您可以在OSS上找到转换后的Alink模型文件。

    2. 在Alink任务中添加训练代码，加载转换后的Alink模型并使用它进行训练。例如：

    from pyflink.dataset import ExecutionEnvironmentfrom pyflink.table import TableEnvironment, BatchTableEnvironmentfrom pyflink.table.descriptors import Schema, OldCsv, FileSystemfrom pyflink.table.types import DataTypes# 创建Alink环境t_env = BatchTableEnvironment.create(env=ExecutionEnvironment.get_execution
    已喜欢 已反对

  2. 在机器学习PAI中，您可以通过 “Model Conversion” 功能将 scikit-learn 训练的模型转换成阿里云平台支持的模型格式，如Alink和MNN。

    以下是进行模型转换的一般步骤：

    1. 安装 Python 环境和相关的转换库

    您需要在机器学习 PAI 上安装 Python 环境和相关的转换库，如tensorflow、onnx等（具体库的安装根据您要转换的目标模型格式而定）。

    1. 导出 scikit-learn 模型

    在 Python 环境中，使用 scikit-learn 的 joblib.dump() 函数将训练好的模型导出为 .pkl 文件。

    1. 转换模型

    您可以使用相关的转换工具，如 TensorFlow-serving 和 ONNX 等，将 scikit-learn 模型转换为 Alink 或 MNN 的模型格式。 完成转换后，您可以将生成的模型上传到阿里云对象存储 OSS 上，并在自己的项目中调用。

    需要注意的是，由于不同的模型转换工具支持的模型类型和版本可能不同，因此您在转换模型时需要仔细选择相应的转换工具和模型类型，以确保转换成功。

    总结起来，将 scikit-learn 训练的模型转换为 Alink 或 MNN 格式的模型，需要对转换库有所了解，并根据您要转换的模型类型和需求进行相应的操作。

    已喜欢 已反对

  3. 没有这个接口现在，有一些简单的模型，可以直接自己转一下。此回答整理自钉群“Alink开源–用户群”

    已喜欢 已反对