llamafile：一个无需安装配置、跨平台运行大型语言模型的神器！

保右發表於 2026-5-5 09:02:53

llamafile：一个无需安装配置、跨平台运行大型语言模型的神器！

<img src="https://storage.deepin.org/thread/20240318062816442_zh.png" alt="" width="900" height="383" />
在 AI 领域，模型推理的环境配置和安装过程常常让人头疼。如果你也有这样的困扰，那么 llamafile 将会是你的福音。本文由 deepin（深度）社区用户川顺页创作，让你一文学会如何玩转 llamafile！
 
<h1 style="text-align: center;"> llamafile到底是什么？</h1>
llamafile 是一种可在你自己的电脑上运行的可执行大型语言模型（LLM），它包含了给定的开放 LLM 的权重，以及运行该模型所需的一切。让人惊喜的是，你无需进行任何安装或配置。
 
<h1 style="text-align: center;"> llamafile如何实现这一切？</h1>
这一切都得益于 llama.cpp 与 Cosmopolitan Libc 的结合，提供了强大的功能：
<ul>
<li>跨 CPU 微架构运行：llamafiles 可以在多种 CPU 微架构上运行，支持新的 Intel 系统使用现代 CPU 特性，同时兼容旧计算机。</li>
<li>跨 CPU 架构运行：llamafiles 可以在 AMD64 和 ARM64 等多种 CPU 架构上运行，兼容 Win32 和大多数 UNIX shell。</li>
<li>跨操作系统运行：llamafiles 可以在 MacOS、Windows、Linux、FreeBSD、OpenBSD和 NetBSD 六种操作系统上运行。</li>
<li>权重嵌入：LLM 的权重可以嵌入到 llamafile 中，使得未压缩的权重可以直接映射到内存中，类似于自解压缩的存档。</li>
</ul>
 
<h1 style="text-align: center;"> llamafile支持哪些操作系统和CPU？</h1>
llamafile 支持 Linux 2.6.18+、Darwin (MacOS) 23.1.0+、Windows 8+、FreeBSD 13+、NetBSD 9.2+、OpenBSD 7+ 等操作系统。在 CPU 方面，支持 AMD64 和 ARM64 两种微处理器。
 
<h1 style="text-align: center;">llamafile对GPU的支持如何</h1>
llamafile 支持 Apple Metal、NVIDIA 和 AMD 三种类型的 GPU。在 MacOS ARM64 上，可以通过编译一个小模块来支持 GPU。NVIDIA 和 AMD 显卡的所有者需要传递特定参数来启用 GPU。
 
<h1 style="text-align: center;">你也可以创建自己的llamafiles！</h1>
有了这个项目包含的工具，你可以创建自己的 llamafiles，使用任何你想要的兼容模型权重。然后，你可以将这些 llamafiles 分发给其他人轻松地使用它们，无论他们使用的是什么类型的计算机。
llamafile 无疑是一个强大的工具，它使得模型推理变得更加便捷，无需安装或配置复杂的环境。如果你还在为模型推理的环境配置而烦恼，那么为何不试试 llamafile 呢？具体可以参考这个教程：https://zhuanlan.zhihu.com/p/686886176《利用llamafile构造傻瓜式，支持多平台启动的大模型》
 
<h1 style="text-align: center;">如何在deepin上使用？</h1>
打开终端，运行 sh ./xxxx.llamafile
 
<h1 style="text-align: center;">如何在Windows上面使用？</h1>
改后缀为.exe，双击打开即可。
 
<h1 style="text-align: center;">如何使用GPU运行而不是CPU?</h1>
需要装好 NVIDIA/AMD 驱动，对应 NVIDIA，还应该装了 CUDA，然后在运行时加上 -ngl 99999 即可，这个代表将 99999 层（实际也就几百上千层）网络都搬到 GPU，如果你显存不够，可以适当降低这个数值，比如 99、999 等。
综合来看，对于 deepin: sh ./xxxx.llamafile -ngl 99999
对于 Windows: ./xxx.lamafile.exe -ngl 9999
 
<h1 style="text-align: center;">获取地址</h1>
百度网盘链接：
https://pan.baidu.com/s/14cv7McPa1XpXBNKy914HyQ?pwd=msjn 提取码：msjn
123云盘链接：
https://www.123pan.com/s/oEqDVv-IP4o.html 提取码：8MCi
（注：后缀.exe 可以忽略，因为 llamafile 是跨平台的，可以同时在 Linux、Windows、Mac、BSD上运行。）
 
<h1 style="text-align: center;">使用截图</h1>
<img class="aligncenter" src="https://storage.deepin.org/thread/202403140917442540_image.png" />
 
<h1 style="text-align: center;">如何接入其他客户端？</h1>
推荐这个，一键拥有你自己的跨平台 ChatGPT/Gemini 应用：
https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web
《ChatGPTNextWeb/ChatGPT-Next-Web: A cross-platform ChatGPT/Gemini UI (Web / PWA / Linux / Win / MacOS)》
安装后再设置，模型服务商选择 OpenAI，接口地址换成 http://127.0.0.1:8080
 
<h1 style="text-align: center;">接入UOS-AI（不推荐普通用户尝试）</h1>
<ul>
<li>先启动 llamafile。</li>
<li>再安装 NGINX sudo apt install nginx</li>
<li>利用 OpenSSL 自签名 SSL 证书，有效期 10 年。</li>
</ul>
openssl req -newkey rsa:2048 -x509 -nodes -keyout localhost.key -new -out localhost.crt -subj /CN=Hostname -reqexts SAN -extensions SAN -config <(cat /usr/lib/ssl/openssl.cnf \ 
<(printf '\nsubjectAltName=DNS:hostname,IP:127.0.0.1')) -sha256 -days 3650
<ul>
<li>在 NGINX 配置目录，创建证书目录，将刚刚的证书移过去。</li>
</ul>
sudo mkdir /etc/nginx/cert/ 
sudo cp localhost.* /etc/nginx/cert/
<ul>
<li>编辑NGINX默认网站配置文件，sudo vim /etc/nginx/sites-enabled/default 配置如下：</li>
</ul>
## 
# You should look at the following URL's in order to grasp a solid understanding 
# of Nginx configuration files in order to fully unleash the power of Nginx. 
# https://www.nginx.com/resources/wiki/start/ 
# https://www.nginx.com/resources/wiki/start/topics/tutorials/config_pitfalls/ 
# https://wiki.debian.org/Nginx/DirectoryStructure 
# 
# In most cases, administrators will remove this file from sites-enabled/ and 
# leave it as reference inside of sites-available where it will continue to be 
# updated by the nginx packaging team. 
# 
# This file will automatically load configuration files provided by other 
# applications, such as Drupal or WordPress. These applications will be made 
# available underneath a path with that package name, such as /drupal8. 
# 
# Please see /usr/share/doc/nginx-doc/examples/ for more detailed examples. 
##
# Default server configuration 
# 
server { 
listen 80 default_server; 
listen [::]:80 default_server;
# SSL configuration 
listen 443 ssl default_server; 
listen [::]:443 ssl default_server; 
ssl_certificate cert/localhost.crt; 
ssl_certificate_key cert/localhost.key; 
ssl_session_timeout 5m; 
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4; 
ssl_protocols TLSv1 TLSv1.1 TLSv1.2; 
ssl_prefer_server_ciphers on; 
# Add index.php to the list if you are using PHP 
index index.html index.htm index.nginx-debian.html;
# server_name _; 
server_name api.openai.com;
location / { 
proxy_pass http://127.0.0.1:8080; 
proxy_set_header Host $host; 
proxy_set_header X-Real-IP $remote_addr; 
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 
}
}
<ul>
<li>重启 NGINX。</li>
</ul>
sudo systemctl restart nginx
<ul>
<li>修改本机 Host，将本机 IP: 127.0.0.1 映射到刚刚配置的 api.openai.com ，修改方法：sudo vim /etc/hosts 在任意行增加一行 127.0.0.1 api.openai.com</li>
<li>然后按照该内容：https://bbs.deepin.org/zh/post/267049 让 UOS AI 进入英语环境，这样才能添加 ChatGPT 设置。</li>
</ul>
 
<ul>
<li>添加配置：</li>
</ul>
<img class="aligncenter" src="https://storage.deepin.org/thread/202403150222291137_image.png" alt="image.png" />
 
<ul>
<li>添加成功（电脑配置差的可能要多试几次）：</li>
</ul>
<img class="aligncenter" src="https://storage.deepin.org/thread/202403150227193033_image.png" alt="image.png" />
<ul>
<li>开始使用：</li>
</ul>
<img class="aligncenter" src="https://storage.deepin.org/thread/202403150229278643_image.png" alt="image.png" />
 
注意：目前选择 GPT3.5/GPT4 在 UOS AI 里貌似不支持流式传输，也就是没办法一个字一个字吞吐，导致要等待较长时间，等所有字都预测好了才会返回，体验较差，而其他 API 比如讯飞星火是支持流的，所以建议还是用 llamafile 自带的网页聊天窗吧。
原贴地址：https://bbs.deepin.org/zh/post/269443
内容来源：deepin 社区
转载请注明出处
</div>

頁: [1]

琼殿技术论坛's Archiver

llamafile：一个无需安装配置、跨平台运行大型语言模型的神器！