facebookresearch/llama-recipes: Examples and recipes for Llama 2 model

「Llama 2」模型的範例與配方庫(llama-recipes)提供了關於如何快速開始對特定領域進行細調(fine-tuning)及執行細調模型推論的範例。此庫使用 Hugging Face 轉換版本的模型,以便使用。除了提供示範應用程式外,還展示了在本地、雲端和企業內部運行 Llama 2 的方法。它還包括了關於如何安全地使用 Llama 2 模型的指南,並提醒使用此技術可能帶來的風險。更多資訊可在 GitHub 的 llama-recipes 頁面查看。

這個專案提供了針對 Llama 2 模型的微調(fine-tuning)和推理(inference)範例以及演示應用程序。2023年12月,該專案新增了 Llama Guard 安全檢查器,以增強範例推理腳本的安全性【6†來源】。

快速入門部分提供了使用 Jupyter Notebook 對 Llama 2 模型進行文本摘要任務的微調指南,該筆記本使用了參數高效微調(PEFT)和 int8 量化方法。

該專案還包括了一系列 Llama 2 模型驅動的應用程序示例,包括在 Mac、Google Colab、雲端及本地部署 Llama,以及如何使用 Azure Llama 2 API(模型即服務)和建立基於 RAG(檢索增強生成)的 Llama 聊天機器人。

安裝方面,可以透過 pip 命令輕鬆安裝和在其他項目中使用 Llama-recipes。此外,該專案還說明了如何將原始模型權重轉換為 Hugging Face 檢查點。

微調部分涵蓋了針對特定領域用例的 Llama 2 模型微調方法,包括單 GPU 和多 GPU 微調的示例和配方。

最後,該專案的組織結構包括配置檔、文件、資料集腳本、演示應用程序、範例腳本、推理模塊、模型檢查點處理程序、FSDP(全參數分布式訓練)策略和實用工具檔等多個部分。

內容出處: facebookresearch/llama-recipes: Examples and recipes for Llama 2 model

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *