关于MMoE,有说gate的权重会出现极化现象的~需要加一下dropout,是这样的吗?[阿里云机器学习PAI]

关于MMoE,有说gate的权重会出现极化现象的~需要加一下dropout,是这样的吗?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 经验不太足此回答整理自钉群“【EasyRec】推荐算法交流群”

  2. MMoE是一种多层次、多流输入的神经网络结构,其中Gate的作用是对不同任务流的特征进行加权平均,从而达到学习不同任务之间的交互的目的。在实际应用中,由于Gate的权重在训练过程中会发生剧烈波动,可能导致Gate的输出出现过度偏向某个任务流,即所谓的“极化现象”。

    为了缓解这种现象,可以采用多种方法,其中一种是通过在Gate层添加Dropout操作。Dropout可以随机忽略一些Gate中的神经元,从而强制Gate学习到更加鲁棒的特征组合,降低极化现象的风险。具体来说,可以在MMoE中添加一个Dropout层,将其加在Gate层的输出之前,从而随机忽略一些Gate中的权重,提高模型的泛化性能。但需要注意的是,Dropout的使用需要谨慎,过高的Dropout率可能会降低模型的学习能力,因此需要在实际应用中进行调参和验证。