机器学习PAI EasyRec中的eval_config怎么用?[阿里云机器学习PAI]

机器学习PAI EasyRec中的eval_config怎么用?给一个具体案例

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
2 条回复 A 作者 M 管理员
  1. 根据已知的概念信息中的描述,可以得知eval_config是EasyRec中的一个参数,它的类型是EvalConfig,是可选的参数。根据已知的参考内容信息中的示例,可以看到eval_config的具体使用方式如下:eval_config {
    num_examples: 1000
    metrics_set: {
    auc {}
    }
    }
    在这个例子中,eval_config被用于设置评估的配置信息。其中,num_examples表示评估时使用的样本数量为1000个,metrics_set表示评估时使用的指标集合,这里使用的是auc指标。
    所以,你可以根据自己的需求来设置eval_config参数,例如设置不同的样本数量和指标集合,以满足你的评估需求。,此回答整理自钉群“【EasyRec】推荐算法交流群”

  2. 在EasyRec中,eval_config用于配置模型评估的相关参数。

    以下是一个具体案例:

    {  "metrics": [    {      "name": "auc",      "type": "binary_classification",      "threshold": 0.5    },    {      "name": "precision",      "type": "binary_classification",      "threshold": 0.5    },    {      "name": "recall",      "type": "binary_classification",      "threshold": 0.5    }  ]}

    在这个例子中,我们定义了三个评估指标:AUC、精确率和召回率。每个指标都有一个类型(这里是二分类)和一个阈值。

    然后,我们可以在训练时使用这个eval_config:

    python -m easy_rec.python.train --pipeline_config_path dwd_avazu_ctr_deepmodel.config --eval_config_path eval_config.json --export_dir ./export

    这样,模型训练结束后,就会根据eval_config中的设置进行模型评估。

  3. 在机器学习PAI EasyRec中,eval_config可以用来设置训练集和验证集的比例以及相应的评估指标。
    一个具体的例子如下所示:

    # 训练集和验证集的比例eval_config:  train_percent: 0.8  val_percent: 0.2# 评估指标eval_metrics:  - binary_logloss# 是否在训练过程中输出评估结果eval_output_path: true

    在这个例子中,我们将数据集分为80%的训练集和20%的验证集。然后我们使用binary_logloss作为评估指标。最后,我们设置了eval_output_path为true,这样在训练过程中会将评估结果输出到stdout。
    需要注意的是,如果eval_output_path设置为false,则不会输出任何评估结果。此外,还需要注意eval_config下的训练集和验证集的比例之和应为1。