LibMTL.weighting.MoCo

class MoCo[来源]

基础类:LibMTL.weighting.abstract_weighting.AbsWeighting

动量对比学习。

该方法在Mitigating Gradient Bias in Multi-objective Learning: A Provably Convergent Approach (ICLR 2023)中提出,并基于作者分享的代码实现(Heshan Fernando: fernah@rpi.edu)。

Parameters:
  • MoCo_beta (float, default=0.5) – y的学习率。

  • MoCo_beta_sigma (float, default=0.5) – MoCo_beta的衰减率。

  • MoCo_gamma (float, default=0.1) – lambd的学习率。

  • MoCo_gamma_sigma (float, default=0.5) – MoCo_gamma的衰减率。

  • MoCo_rho (float, default=0) – lambda更新的ell_2正则化参数。

警告

MoCo 不支持表示梯度,即 rep_grad 必须为 False

init_param()[来源]

定义并初始化特定加权方法所需的一些可训练参数。

backward(losses, **kwargs)[来源]
Parameters:
  • losses (列表) – 每个任务的损失列表。

  • kwargs (dict) – 一个包含加权方法超参数的字典。