☰ 菜单
首页›AI 与机器学习›text-embeddings-inference
命令行 开源 61 次安装/月 上升 1.66×

text-embeddings-inference for Mac 版

text-embeddings-inference

用于文本嵌入模型的高速推理解决方案

text-embeddings-inference 是什么

Text Embeddings Inference(TEI)是一个用于部署和提供开源文本嵌入与序列分类模型服务的工具包,主打高性能推理。它支持 FlagEmbedding、Ember、GTE、E5 等主流模型,覆盖 Nomic、BERT、XLM-RoBERTa、Mistral、Qwen2、ModernBERT 等多种架构,也支持重排序和序列分类模型。

TEI 的核心能力围绕推理效率展开:无需模型图编译步骤,采用基于 token 的动态批处理,针对 Flash Attention 和 cuBLASLt 优化了 transformers 代码,支持 Safetensors 与 ONNX 权重加载。它还提供小体积 Docker 镜像和快速启动时间,适合 serverless 场景;生产环境所需的 OpenTelemetry 分布式追踪和 Prometheus 指标也已内置。此外,TEI 支持 Mac 本地运行的 Metal 加速,以及 gRPC 接口和离线部署。

它解决的是文本嵌入模型从“能跑”到“跑得快、好运维”之间的工程落地问题,适合需要自托管嵌入服务、构建检索或 RAG 管线的开发者与平台团队。

如何安装 text-embeddings-inference

  1. 打开 终端(按 ⌘ + 空格,输入“终端”)。
  2. 如果还没安装 Homebrew,先运行下面这条安装命令。
  3. 运行下面这条命令:

最近 10 个版本记录

最近一次更新为 2026-09-15,当前版本 v1.9.4,共记录最近 10 个版本。

版本发布日期类型大小macOSWindowsLinux
v1.9.42026-09-15稳定版————
v1.9.32026-03-23稳定版————
v1.9.22026-02-25稳定版————
v1.9.12026-02-17稳定版————
v1.9.02026-02-17稳定版————
v1.8.32025-10-30稳定版————
v1.8.22025-09-09稳定版————
v1.8.12025-09-04稳定版————
v1.8.02025-08-05稳定版————
v1.7.42025-07-07稳定版————

数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。

与同类应用对比

只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。

与同类应用对比
应用版本许可证架构近 30 天安装
text-embeddings-inferencev1.9.4Apache-2.0命令行61
modelsv0.14.1MIT命令行69
ncnn20261020BSD-3-Clause命令行39
Ollamacv3.0.3—通用二进制112

AI 与机器学习中的类似应用

发表评论

评论表单加载中…