检查点

通常情况下，您可以直接通过使用--model_name_or_path从检查点加载模型。但由于版权问题，LLaMA的情况略有不同。

LLaMA 模型检查点

1. 首先，您需要从facebookresearch/llama获取LLaMA模型的访问权限。下载官方检查点并将其保存到${llama-path}中。

2. 其次，通过运行以下命令将官方检查点${llama-path}转换为HuggingFace支持的检查点${llama-hf-path}

   python ./scripts/convert_llama_weights_to_hf.py --input_dir ${llama-path} --model_size 7B --output_dir ${llama-hf-path}/llama-7b-hf

3. 然后您只需将检查点路径设置为${llama-hf-path}/llama-7b-hf就可以开始使用了。祝您使用愉快！

4. (可选) 现在您已经拥有原始的llama-7b-hf预训练模型。通过

cd output_models && ./download.sh all && cd -

您可以获取我们微调后的模型差异。通过类似于./scripts/run_evaluation_with_lora.sh的方式，

CUDA_VISIBLE_DEVICES=0 \
    deepspeed examples/evaluate.py \
    --answer_type text \
    --model_name_or_path ${llama-hf-path}/llama-7b-hf \
    --lora_model_path output_models/${llama-model-diff-path} \
    --dataset_path data/alpaca/test \
    --prompt_structure "Input: {input}" \
    --deepspeed examples/ds_config.json

您现在可以使用微调后的llama模型进行评估。