llama.cpp for Mac 版
C/C 中的 LLM 推理
llama.cpp 是什么
llama.cpp 是一个用纯 C/C++ 实现的大语言模型与视觉语言模型推理引擎,目标是在尽量少的配置下,让模型在本地或云端多种硬件上高效运行。它不依赖外部库,针对 Apple Silicon 做了 ARM NEON、Accelerate 和 Metal 优化,同时支持 x86 的 AVX、AVX2、AVX512、AMX 以及 RISC-V 的多种指令集扩展。通过 1.5 位到 8 位的整数量化,可以加快推理速度并降低内存占用。它提供面向 NVIDIA GPU 的自定义 CUDA 内核,也支持 AMD(HIP)、摩尔线程(MUSA)、Vulkan 和 SYCL 后端,并允许 CPU+GPU 混合推理,让超出显存容量的模型也能部分加速。项目基于 ggml 库构建,附带 cli、completion、server 等工具和 GBNF 语法支持,适合希望在自有硬件上部署和试验 LLM/VLM 的开发者与研究者。
如何安装 llama.cpp
- 打开 终端(按 ⌘ + 空格,输入“终端”)。
- 如果还没安装 Homebrew,先运行下面这条安装命令。
- 运行下面这条命令:
最近 10 个版本记录
最近一次更新为 2026-11-12,当前版本 b12321,共记录最近 10 个版本。
| 版本 | 发布日期 | 类型 | 大小 | macOS | Windows | Linux |
|---|---|---|---|---|---|---|
| b12321 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
| b12320 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
| b12319 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
| b12318 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
| b12317 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
| b12316 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
| b12314 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
| b12311 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
| b12308 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
| b12307 | 2026-11-12 | 预发布 | 16.1 MB | 下载 | 下载 | 下载 |
数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。
被 2 个应用依赖
以下应用的安装命令会自动安装它,按 30 天安装量排序:
- whisper.cpp22,550 安装/月
- ramalama521 安装/月
二进制包支持平台
Homebrew 官方提供的预编译包(bottle)覆盖:
- Apple 芯片 · 最新 macOS
- Apple 芯片 · macOS 26 Tahoe
- Apple 芯片 · macOS 15 Sequoia
- Linux · ARM64
- Linux · x86_64
⚠️ 未提供 Intel Mac 的预编译包,Intel 机型需要通过 brew install --build-from-source 从源码编译。
与同类应用对比
只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。
| 应用 | 版本 | 许可证 | 架构 | 近 30 天安装 |
|---|---|---|---|---|
| llama.cpp | b12321 | MIT | 命令行 | 34,660 |
| rtk | v1.2.0 | Apache-2.0 | 命令行 | 23,446 |
| openvino | 2026.4.1 | Apache-2.0 | 命令行 | 2,798 |
| open-code-review | v1.13.10 | Apache-2.0 | 命令行 | 737 |