torchtune.rlhf

RLHF算法（如PPO和DPO）的组件和损失。

estimate_advantages	使用广义优势估计估计PPO算法的优势和回报 https://arxiv.org/pdf/1506.02438.pdf
get_rewards_ppo	计算给定分数、logprobs和参考logprobs的PPO奖励。
truncate_sequence_at_first_stop_token	在第一个停止标记后截断序列，并用fill_value填充。
loss.PPOLoss	近端策略优化（PPO）损失模块。
loss.DPOLoss	直接偏好优化（DPO）损失模块：https://arxiv.org/abs/2305.18290 简单来说，论文中所述：
loss.RSOLoss	统计拒绝采样优化（RSO）或“铰链”损失模块：https://arxiv.org/abs/2309.06657。
loss.SimPOLoss	使用无参考奖励的简单偏好优化：https://arxiv.org/abs/2405.14734。