☰ 菜单
命令行 开源 52 次安装/月

shimmy for Mac 版

shimmy

具有 OpenAI 兼容 GGUF 端点的小型本地推理服务器

shimmy 是什么

Shimmy 是一个本地推理服务器兼命令行工具,底层引擎为 Airframe。它用 Rust 和 WGSL 编写,目标是让用户在本地 GPU 上跑模型推理,并对外提供 OpenAI 兼容接口——也就是说,现有按 OpenAI API 写的客户端可以直接连它,不必把请求发到云端。

2.6.6 这一版不是架构或性能更新,而是围绕稠密文本正确性、依赖安全和文档做的一次集中修正。验证范围有明确边界:官方给出的测试矩阵只覆盖 Qwen3-0.6B、Qwen3-1.7B 和 Llama 3.2 3B 的 Q4_K_M 若干用例,用独立 FP32 全 logits 比对,并设了最大绝对误差 0.1、RMS 0.03 的门槛。F32 KV 与参考内核才是被认可的验证路径,Gemma2、MoE、MLA、循环与状态空间模型、多模态执行器均未启用,INT4/TurboShimmy 和实验性内核也被排除在外。全 logits 的 GPU 实测证据目前仅来自 NVIDIA 经 WSL 的 Dozen/Vulkan 路径,Metal/M4 等平台标注为未运行。

它适合需要在本地掌控推理、又希望沿用 OpenAI 接口生态的开发者,尤其是使用上述已验证模型、能接受有限支持范围的 Rust 用户。

如何安装 shimmy

  1. 打开 终端(按 ⌘ + 空格,输入“终端”)。
  2. 如果还没安装 Homebrew,先运行下面这条安装命令。
  3. 运行下面这条命令:

最近 10 个版本记录

最近一次更新为 2026-11-12,当前版本 v2.6.7,共记录最近 10 个版本。

版本发布日期类型大小macOSWindowsLinux
v2.6.72026-11-12稳定版3.1 MB下载下载下载
v2.6.62026-11-07稳定版3.1 MB下载下载下载
v2.6.52026-10-19稳定版7.1 MB下载下载下载
v2.6.42026-08-30稳定版————
v2.6.32026-08-29稳定版————
v2.6.22026-08-28稳定版————
v2.6.12026-08-28稳定版6.8 MB下载下载下载
v2.6.02026-08-27稳定版6.7 MB下载下载下载
v2.5.02026-08-06稳定版————
v2.4.22026-08-03稳定版————

数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。

二进制包支持平台

Homebrew 官方提供的预编译包(bottle)覆盖:

  • Apple 芯片 · 最新 macOS
  • Apple 芯片 · macOS 26 Tahoe
  • Apple 芯片 · macOS 15 Sequoia
  • Linux · ARM64
  • Linux · x86_64

⚠️ 未提供 Intel Mac 的预编译包,Intel 机型需要通过 brew install --build-from-source 从源码编译。

与同类应用对比

只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。

与同类应用对比
应用版本许可证架构近 30 天安装
shimmyv2.6.7Apache-2.0命令行52
NVIDIA Personal AI Routerv1.0.0—通用二进制29
Stability Matrixv2.16.5—仅 Apple 芯片33
TranscribeX10.6—通用二进制26

AI 与机器学习中的类似应用

发表评论

电子邮件地址不会被公开。必填项已用 * 标注。