開源的進展太快！
僅僅一個文件，輕鬆在個人電腦部署 LLama！
源代碼
llamafile 是一個開源項目，它的主要特點是允許開發人員和終端用戶使用單個文件分發和運行大型語言模型（LLM）。以下是關於 llamafile 項目的詳細介紹：
項目目標：llamafile 項目的目標是簡化大型語言模型的訪問和使用。通過該項目，用戶無需複雜的安裝和配置過程，即可輕鬆運行 LLM。
技術實現：為了實現這一目標，llamafile 將 llama.cpp 與 Cosmopolitan Libc 結合到一個框架中。這種結合使得 LLM 的所有複雜性被壓縮為一個可執行文件，該文件可以在多種操作系統上本地運行，包括 macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD。
易用性：用戶只需下載相應的 llamafile，根據操作系統的不同進行簡單的操作（如在 Windows 上添加.exe 後綴並雙擊運行），即可啟動 LLM。此外，llamafile 還提供了 WebUI 界面，使用戶能夠更方便地與 LLM 進行交互。
支持模型：目前，llamafile 支持多種大型語言模型，包括 LLaVA、Mistral、Mixtral 和 WizardCoder 等。這些模型都是量化模型，因此即使在純 CPU 環境下也能順利運行。
社區支持：llamafile 項目在 GitHub 上托管，並且已經獲得了相當多的關注。在短短兩個月內，該項目的 Star 數量就達到了一萬多星，表明了開發者和用戶對這一項目的認可和興趣。
總的來說，llamafile 是一個旨在簡化大型語言模型分發和運行的開源項目。它通過將一個複雜的 LLM 壓縮為一個可執行文件，大大降低了用戶使用的門檻，使得更多人能夠輕鬆地體驗和利用大型語言模型的強大功能。
親自嘗試的最簡單方法是下載 LLaVA 模型的示例 llamafile（許可證：LLaMA 2、OpenAI）。 LLaVA 是一個新的 LLM，它不僅僅可以聊天；它還可以做更多事情。您還可以上傳圖像並詢問有關它們的問題。對於 llamafile，這一切都發生在本地；任何數據都不會離開您的計算機。
下載 llava-v1.5-7b-q4.llamafile (3.97 GB)。
下載 lava-v1.5-7b-q4.llama 文件 (3.97 GB)。
打開您計算機的終端。
打開計算機的終端。
如果您使用的是 macOS、Linux 或 BSD，則需要授予計算機執行此新文件的權限。 （您只需執行一次。）
chmod +x llava-v1.5-7b-q4.llamafile
如果您使用的是 Windows，請通過在末尾添加 “.exe” 來重命名該文件。
運行 llamafile。例如。：
./llava-v1.5-7b-q4.llamafile
您的瀏覽器應該自動打開並顯示一個聊天界面。 （如果沒有，只需打開瀏覽器並將其指向 http://localhost:8080）
聊天完畢後，返回您的終端並按 Control-C 關閉 llamafile。