开源的进展太快！
仅仅一个文件，轻松在个人电脑部署 LLama！
源代码
llamafile 是一个开源项目，它的主要特点是允许开发人员和终端用户使用单个文件分发和运行大型语言模型（LLM）。以下是关于 llamafile 项目的详细介绍：
项目目标：llamafile 项目的目标是简化大型语言模型的访问和使用。通过该项目，用户无需复杂的安装和配置过程，即可轻松运行 LLM。
技术实现：为了实现这一目标，llamafile 将 llama.cpp 与 Cosmopolitan Libc 结合到一个框架中。这种结合使得 LLM 的所有复杂性被压缩为一个可执行文件，该文件可以在多种操作系统上本地运行，包括 macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD。
易用性：用户只需下载相应的 llamafile，根据操作系统的不同进行简单的操作（如在 Windows 上添加.exe 后缀并双击运行），即可启动 LLM。此外，llamafile 还提供了 WebUI 界面，使用户能够更方便地与 LLM 进行交互。
支持模型：目前，llamafile 支持多种大型语言模型，包括 LLaVA、Mistral、Mixtral 和 WizardCoder 等。这些模型都是量化模型，因此即使在纯 CPU 环境下也能顺利运行。
社区支持：llamafile 项目在 GitHub 上托管，并且已经获得了相当多的关注。在短短两个月内，该项目的 Star 数量就达到了一万多星，表明了开发者和用户对这一项目的认可和兴趣。
总的来说，llamafile 是一个旨在简化大型语言模型分发和运行的开源项目。它通过将一个复杂的 LLM 压缩为一个可执行文件，大大降低了用户使用的门槛，使得更多人能够轻松地体验和利用大型语言模型的强大功能。
亲自尝试的最简单方法是下载 LLaVA 模型的示例 llamafile（许可证：LLaMA 2、OpenAI）。 LLaVA 是一个新的 LLM，它不仅仅可以聊天；它还可以做更多事情。您还可以上传图像并询问有关它们的问题。对于 llamafile，这一切都发生在本地；任何数据都不会离开您的计算机。
Download llava-v1.5-7b-q4.llamafile (3.97 GB).
下载 lava-v1.5-7b-q4.llama 文件 (3.97 GB)。
Open your computer's terminal.
打开计算机的终端。
If you're using macOS, Linux, or BSD, you'll need to grant permission for your computer to execute this new file. (You only need to do this once.)
如果您使用的是 macOS、Linux 或 BSD，则需要授予计算机执行此新文件的权限。 （您只需执行一次。）
chmod +x llava-v1.5-7b-q4.llamafile
If you're on Windows, rename the file by adding ".exe" on the end.
如果您使用的是 Windows，请通过在末尾添加 “.exe” 来重命名该文件。
Run the llamafile. e.g.:
运行 llama 文件。例如。：
./llava-v1.5-7b-q4.llamafile
Your browser should open automatically and display a chat interface. (If it doesn't, just open your browser and point it at http://localhost:8080)
您的浏览器应该自动打开并显示聊天界面。 （如果没有，只需打开浏览器并将其指向 http://localhost:8080）
When you're done chatting, return to your terminal and hit Control-C to shut down llamafile.
聊天完毕后，返回终端并点击 Control-C 关闭 llamafile。