torchtune.generation

generate	根据提示生成模型的令牌，并返回生成的logits。
generate_next_token	根据提示生成下一个标记，并返回相应的对数概率。
sample	从概率分布中抽取的通用样本。
get_causal_mask_from_padding_mask	将形状为[bsz, seq_len]的填充掩码转换为适合scaled_dot_product_attention()使用的[bsz, seq_len, seq_len]因果注意力掩码。
get_position_ids_from_padding_mask	根据填充掩码计算位置ID，该掩码将位置ID右移以从第一个有效标记开始。