這個專案提供了針對 Llama 2 模型的微調(fine-tuning)和推理(inference)範例以及演示應用程序。2023年12月,該專案新增了 Llama Guard 安全檢查器,以增強範例推理腳本的安全性【6†來源】。
快速入門部分提供了使用 Jupyter Notebook 對 Llama 2 模型進行文本摘要任務的微調指南,該筆記本使用了參數高效微調(PEFT)和 int8 量化方法。
該專案還包括了一系列 Llama 2 模型驅動的應用程序示例,包括在 Mac、Google Colab、雲端及本地部署 Llama,以及如何使用 Azure Llama 2 API(模型即服務)和建立基於 RAG(檢索增強生成)的 Llama 聊天機器人。
安裝方面,可以透過 pip 命令輕鬆安裝和在其他項目中使用 Llama-recipes。此外,該專案還說明了如何將原始模型權重轉換為 Hugging Face 檢查點。
微調部分涵蓋了針對特定領域用例的 Llama 2 模型微調方法,包括單 GPU 和多 GPU 微調的示例和配方。
最後,該專案的組織結構包括配置檔、文件、資料集腳本、演示應用程序、範例腳本、推理模塊、模型檢查點處理程序、FSDP(全參數分布式訓練)策略和實用工具檔等多個部分。
內容出處: facebookresearch/llama-recipes: Examples and recipes for Llama 2 model