常见优化器

常见优化器#

SGD(learning_rate[, momentum, weight_decay, ...])

随机梯度下降优化器。

RMSprop(learning_rate[, alpha, eps])

RMSprop 优化器 [1]。

Adagrad(learning_rate[, eps])

Adagrad 优化器 [1]。

Adafactor([learning_rate, eps, ...])

Adafactor 优化器。

AdaDelta(learning_rate[, rho, eps])

带有学习率的AdaDelta优化器 [1]。

Adam(learning_rate[, betas, eps, ...])

Adam优化器 [1]。

AdamW(learning_rate[, betas, eps, ...])

AdamW 优化器 [1]。

Adamax(learning_rate[, betas, eps])

Adamax优化器,一种基于无穷范数的Adam变体 [1]。

Lion(learning_rate[, betas, weight_decay])

Lion 优化器 [1]。