示例

我们提供了一些示例，展示如何在我们的软件包中解决您的问题。

数据准备

• 数据集
  • 通用数据集格式
  • 支持的数据集及详细格式
    • 对话
    • TextOnly
    • 文本转文本
    • 配对对话

• 检查点
  • LLaMA 检查点

微调

对于监督式微调（SFT），

• 微调
  • 完整参数
  • 分层重要性采样AdamW优化器 (LISA)
  • 低秩适配(LoRA)

对于对齐过程，

• 奖励建模
  • 简介
  • 步骤1 监督微调 (SFT)
  • 步骤2 奖励建模
  • 示例

• RAFT
  • 1 简介
    • 1.1 数据集描述
  • 2 奖励建模
    • 2.1 监督微调 (SFT)
    • 2.2 奖励模型
    • 2.3 LoRA合并与获取奖励模型
  • 3 RAFT对齐
    • 3.1 算法概述
    • 3.2 超参数
    • 3.3 示例

推理

参考示例。

评估

• LMFlow 基准测试指南
• 1. NLL任务设置
  • 安装设置
  • 创建您的任务数据集文件
  • 任务注册
• 2. LMFlow评估任务设置