djl-serving for Mac 版
该模块包含一个通用的模型服务实现
djl-serving 是什么
DJL Serving 是一个基于 DJL 构建的高性能通用模型服务方案,能把单个深度学习模型、多个模型或工作流通过 HTTP 端点对外提供。开箱即用支持 PyTorch TorchScript、TensorFlow SavedModel、ONNX(CPU)和 Python 脚本模型,安装扩展后还可支持 XGBoost、LightGBM、Sentencepiece 和 fastText/BlazingText。
它的核心卖点在于性能与易用性兼顾:在单个 JVM 内多线程推理,官方基准显示吞吐量高于市面上多数 C++ 模型服务器;同时提供自动扩缩工作线程、动态批处理、单端点多版本模型加载以及多引擎同时服务等能力。插件机制让自定义扩展变得简单,RESTful API 则把推理和管理(增删模型、扩缩容)分开,默认监听 8080 端口且仅限本地访问。
它适合需要快速把模型变成 HTTP 服务、又不想被特定框架绑死的算法工程师和平台团队,尤其是对吞吐有要求、希望在同一服务里混用不同引擎或多版本模型的场景。
它的核心卖点在于性能与易用性兼顾:在单个 JVM 内多线程推理,官方基准显示吞吐量高于市面上多数 C++ 模型服务器;同时提供自动扩缩工作线程、动态批处理、单端点多版本模型加载以及多引擎同时服务等能力。插件机制让自定义扩展变得简单,RESTful API 则把推理和管理(增删模型、扩缩容)分开,默认监听 8080 端口且仅限本地访问。
它适合需要快速把模型变成 HTTP 服务、又不想被特定框架绑死的算法工程师和平台团队,尤其是对吞吐有要求、希望在同一服务里混用不同引擎或多版本模型的场景。
如何安装 djl-serving
- 打开 终端(按 ⌘ + 空格,输入“终端”)。
- 如果还没安装 Homebrew,先运行下面这条安装命令。
- 运行下面这条命令:
最近 10 个版本记录
最近一次更新为 2026-03-12,当前版本 v0.36.0,共记录最近 10 个版本。
| 版本 | 发布日期 | 类型 | 大小 | macOS | Windows | Linux |
|---|---|---|---|---|---|---|
| v0.36.0 | 2026-03-12 | 稳定版 | — | — | — | — |
| v0.29.0 | 2024-08-16 | 稳定版 | — | — | — | — |
| v0.28.0 | 2024-06-19 | 稳定版 | — | — | — | — |
| v0.27.0 | 2024-04-15 | 稳定版 | — | — | — | — |
| v0.26.0 | 2024-02-27 | 稳定版 | — | — | — | — |
| v0.25.0 | 2023-12-20 | 稳定版 | — | — | — | — |
| v0.24.0 | 2023-10-17 | 稳定版 | — | — | — | — |
| v0.23.0 | 2023-07-18 | 稳定版 | — | — | — | — |
| v0.22.1 | 2023-04-25 | 稳定版 | — | — | — | — |
| v0.23.0-alpha | 2023-06-14 | 预发布 | — | — | — | — |
数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。
二进制包支持平台
Homebrew 官方提供的预编译包(bottle)覆盖:
- all
⚠️ 未提供 Intel Mac 的预编译包,Intel 机型需要通过 brew install --build-from-source 从源码编译。
与同类应用对比
只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。
| 应用 | 版本 | 许可证 | 架构 | 近 30 天安装 |
|---|---|---|---|---|
| djl-serving | v0.36.0 | Apache-2.0 | 命令行 | 0 |
| ctags-lsp | v0.11.0 | MIT | 命令行 | 1 |
| iguana | 1.2.0 | Apache-2.0 | 命令行 | 4 |
| libdom | 0.4.2 | MIT | 命令行 | 1 |
命令行工具中的类似应用
ctags-lsp
ctags-lsp 是一个基于 universal-ctags 构建的语言服务器协议(LSP)实现,支持 100 多种语言。iguana
iguana 是一个基于编译期反射的通用序列化引擎,使用 C++20 和 C++17 开发。libdom
libdom 是一个对 W3C DOM 规范的实现,以命令行工具的形式提供。它面向需要解析和操作 HTML/XML 文档结构的开发者,把文档转换成可编程访问…libucl
libucl 是一个用 C 语言编写的配置解析库,专门处理 UCL(Universal Configuration Language)格式的配置文件。openssl@4
OpenSSL 是一套开源、商用级、功能完整的加密工具箱,主要服务于 TLS(早期称 SSL)、DTLS 和 QUIC 协议。xz
XZ Utils 是一个通用数据压缩库,同时附带命令行工具。它的原生格式是 .xz,也兼容旧的 .lzma 格式。所属分类:命令行工具