text-embeddings-inference for Mac 版
用于文本嵌入模型的高速推理解决方案
text-embeddings-inference 是什么
Text Embeddings Inference(TEI)是一个用于部署和提供开源文本嵌入与序列分类模型服务的工具包,主打高性能推理。它支持 FlagEmbedding、Ember、GTE、E5 等主流模型,覆盖 Nomic、BERT、XLM-RoBERTa、Mistral、Qwen2、ModernBERT 等多种架构,也支持重排序和序列分类模型。
TEI 的核心能力围绕推理效率展开:无需模型图编译步骤,采用基于 token 的动态批处理,针对 Flash Attention 和 cuBLASLt 优化了 transformers 代码,支持 Safetensors 与 ONNX 权重加载。它还提供小体积 Docker 镜像和快速启动时间,适合 serverless 场景;生产环境所需的 OpenTelemetry 分布式追踪和 Prometheus 指标也已内置。此外,TEI 支持 Mac 本地运行的 Metal 加速,以及 gRPC 接口和离线部署。
它解决的是文本嵌入模型从“能跑”到“跑得快、好运维”之间的工程落地问题,适合需要自托管嵌入服务、构建检索或 RAG 管线的开发者与平台团队。
TEI 的核心能力围绕推理效率展开:无需模型图编译步骤,采用基于 token 的动态批处理,针对 Flash Attention 和 cuBLASLt 优化了 transformers 代码,支持 Safetensors 与 ONNX 权重加载。它还提供小体积 Docker 镜像和快速启动时间,适合 serverless 场景;生产环境所需的 OpenTelemetry 分布式追踪和 Prometheus 指标也已内置。此外,TEI 支持 Mac 本地运行的 Metal 加速,以及 gRPC 接口和离线部署。
它解决的是文本嵌入模型从“能跑”到“跑得快、好运维”之间的工程落地问题,适合需要自托管嵌入服务、构建检索或 RAG 管线的开发者与平台团队。
如何安装 text-embeddings-inference
- 打开 终端(按 ⌘ + 空格,输入“终端”)。
- 如果还没安装 Homebrew,先运行下面这条安装命令。
- 运行下面这条命令:
最近 10 个版本记录
最近一次更新为 2026-09-15,当前版本 v1.9.4,共记录最近 10 个版本。
| 版本 | 发布日期 | 类型 | 大小 | macOS | Windows | Linux |
|---|---|---|---|---|---|---|
| v1.9.4 | 2026-09-15 | 稳定版 | — | — | — | — |
| v1.9.3 | 2026-03-23 | 稳定版 | — | — | — | — |
| v1.9.2 | 2026-02-25 | 稳定版 | — | — | — | — |
| v1.9.1 | 2026-02-17 | 稳定版 | — | — | — | — |
| v1.9.0 | 2026-02-17 | 稳定版 | — | — | — | — |
| v1.8.3 | 2025-10-30 | 稳定版 | — | — | — | — |
| v1.8.2 | 2025-09-09 | 稳定版 | — | — | — | — |
| v1.8.1 | 2025-09-04 | 稳定版 | — | — | — | — |
| v1.8.0 | 2025-08-05 | 稳定版 | — | — | — | — |
| v1.7.4 | 2025-07-07 | 稳定版 | — | — | — | — |
数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。
与同类应用对比
只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。
| 应用 | 版本 | 许可证 | 架构 | 近 30 天安装 |
|---|---|---|---|---|
| text-embeddings-inference | v1.9.4 | Apache-2.0 | 命令行 | 61 |
| models | v0.14.1 | MIT | 命令行 | 69 |
| ncnn | 20261020 | BSD-3-Clause | 命令行 | 39 |
| Ollamac | v3.0.3 | — | 通用二进制 | 112 |