☰ 菜单
命令行 开源 34,660 次安装/月

llama.cpp for Mac 版

llama.cpp

C/C 中的 LLM 推理

llama.cpp 是什么

llama.cpp 是一个用纯 C/C++ 实现的大语言模型与视觉语言模型推理引擎,目标是在尽量少的配置下,让模型在本地或云端多种硬件上高效运行。它不依赖外部库,针对 Apple Silicon 做了 ARM NEON、Accelerate 和 Metal 优化,同时支持 x86 的 AVX、AVX2、AVX512、AMX 以及 RISC-V 的多种指令集扩展。通过 1.5 位到 8 位的整数量化,可以加快推理速度并降低内存占用。它提供面向 NVIDIA GPU 的自定义 CUDA 内核,也支持 AMD(HIP)、摩尔线程(MUSA)、Vulkan 和 SYCL 后端,并允许 CPU+GPU 混合推理,让超出显存容量的模型也能部分加速。项目基于 ggml 库构建,附带 cli、completion、server 等工具和 GBNF 语法支持,适合希望在自有硬件上部署和试验 LLM/VLM 的开发者与研究者。

如何安装 llama.cpp

  1. 打开 终端(按 ⌘ + 空格,输入“终端”)。
  2. 如果还没安装 Homebrew,先运行下面这条安装命令。
  3. 运行下面这条命令:

最近 10 个版本记录

最近一次更新为 2026-11-12,当前版本 b12321,共记录最近 10 个版本。

版本发布日期类型大小macOSWindowsLinux
b123212026-11-12预发布16.1 MB下载下载下载
b123202026-11-12预发布16.1 MB下载下载下载
b123192026-11-12预发布16.1 MB下载下载下载
b123182026-11-12预发布16.1 MB下载下载下载
b123172026-11-12预发布16.1 MB下载下载下载
b123162026-11-12预发布16.1 MB下载下载下载
b123142026-11-12预发布16.1 MB下载下载下载
b123112026-11-12预发布16.1 MB下载下载下载
b123082026-11-12预发布16.1 MB下载下载下载
b123072026-11-12预发布16.1 MB下载下载下载

数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。

被 2 个应用依赖

以下应用的安装命令会自动安装它,按 30 天安装量排序:

二进制包支持平台

Homebrew 官方提供的预编译包(bottle)覆盖:

  • Apple 芯片 · 最新 macOS
  • Apple 芯片 · macOS 26 Tahoe
  • Apple 芯片 · macOS 15 Sequoia
  • Linux · ARM64
  • Linux · x86_64

⚠️ 未提供 Intel Mac 的预编译包,Intel 机型需要通过 brew install --build-from-source 从源码编译。

与同类应用对比

只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。

与同类应用对比
应用版本许可证架构近 30 天安装
llama.cppb12321MIT命令行34,660
rtkv1.2.0Apache-2.0命令行23,446
openvino2026.4.1Apache-2.0命令行2,798
open-code-reviewv1.13.8Apache-2.0命令行682

AI 与机器学习中的类似应用

发表评论

评论表单加载中…