shimmy for Mac 版
具有 OpenAI 兼容 GGUF 端点的小型本地推理服务器
shimmy 是什么
Shimmy 是一个本地推理服务器兼命令行工具,底层引擎为 Airframe。它用 Rust 和 WGSL 编写,目标是让用户在本地 GPU 上跑模型推理,并对外提供 OpenAI 兼容接口——也就是说,现有按 OpenAI API 写的客户端可以直接连它,不必把请求发到云端。
2.6.6 这一版不是架构或性能更新,而是围绕稠密文本正确性、依赖安全和文档做的一次集中修正。验证范围有明确边界:官方给出的测试矩阵只覆盖 Qwen3-0.6B、Qwen3-1.7B 和 Llama 3.2 3B 的 Q4_K_M 若干用例,用独立 FP32 全 logits 比对,并设了最大绝对误差 0.1、RMS 0.03 的门槛。F32 KV 与参考内核才是被认可的验证路径,Gemma2、MoE、MLA、循环与状态空间模型、多模态执行器均未启用,INT4/TurboShimmy 和实验性内核也被排除在外。全 logits 的 GPU 实测证据目前仅来自 NVIDIA 经 WSL 的 Dozen/Vulkan 路径,Metal/M4 等平台标注为未运行。
它适合需要在本地掌控推理、又希望沿用 OpenAI 接口生态的开发者,尤其是使用上述已验证模型、能接受有限支持范围的 Rust 用户。
2.6.6 这一版不是架构或性能更新,而是围绕稠密文本正确性、依赖安全和文档做的一次集中修正。验证范围有明确边界:官方给出的测试矩阵只覆盖 Qwen3-0.6B、Qwen3-1.7B 和 Llama 3.2 3B 的 Q4_K_M 若干用例,用独立 FP32 全 logits 比对,并设了最大绝对误差 0.1、RMS 0.03 的门槛。F32 KV 与参考内核才是被认可的验证路径,Gemma2、MoE、MLA、循环与状态空间模型、多模态执行器均未启用,INT4/TurboShimmy 和实验性内核也被排除在外。全 logits 的 GPU 实测证据目前仅来自 NVIDIA 经 WSL 的 Dozen/Vulkan 路径,Metal/M4 等平台标注为未运行。
它适合需要在本地掌控推理、又希望沿用 OpenAI 接口生态的开发者,尤其是使用上述已验证模型、能接受有限支持范围的 Rust 用户。
如何安装 shimmy
- 打开 终端(按 ⌘ + 空格,输入“终端”)。
- 如果还没安装 Homebrew,先运行下面这条安装命令。
- 运行下面这条命令:
最近 10 个版本记录
最近一次更新为 2026-11-12,当前版本 v2.6.7,共记录最近 10 个版本。
| 版本 | 发布日期 | 类型 | 大小 | macOS | Windows | Linux |
|---|---|---|---|---|---|---|
| v2.6.7 | 2026-11-12 | 稳定版 | 3.1 MB | 下载 | 下载 | 下载 |
| v2.6.6 | 2026-11-07 | 稳定版 | 3.1 MB | 下载 | 下载 | 下载 |
| v2.6.5 | 2026-10-19 | 稳定版 | 7.1 MB | 下载 | 下载 | 下载 |
| v2.6.4 | 2026-08-30 | 稳定版 | — | — | — | — |
| v2.6.3 | 2026-08-29 | 稳定版 | — | — | — | — |
| v2.6.2 | 2026-08-28 | 稳定版 | — | — | — | — |
| v2.6.1 | 2026-08-28 | 稳定版 | 6.8 MB | 下载 | 下载 | 下载 |
| v2.6.0 | 2026-08-27 | 稳定版 | 6.7 MB | 下载 | 下载 | 下载 |
| v2.5.0 | 2026-08-06 | 稳定版 | — | — | — | — |
| v2.4.2 | 2026-08-03 | 稳定版 | — | — | — | — |
数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。
二进制包支持平台
Homebrew 官方提供的预编译包(bottle)覆盖:
- Apple 芯片 · 最新 macOS
- Apple 芯片 · macOS 26 Tahoe
- Apple 芯片 · macOS 15 Sequoia
- Linux · ARM64
- Linux · x86_64
⚠️ 未提供 Intel Mac 的预编译包,Intel 机型需要通过 brew install --build-from-source 从源码编译。
与同类应用对比
只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。
| 应用 | 版本 | 许可证 | 架构 | 近 30 天安装 |
|---|---|---|---|---|
| shimmy | v2.6.7 | Apache-2.0 | 命令行 | 52 |
| NVIDIA Personal AI Router | v1.0.0 | — | 通用二进制 | 29 |
| Stability Matrix | v2.16.5 | — | 仅 Apple 芯片 | 33 |
| TranscribeX | 10.6 | — | 通用二进制 | 26 |