sentencepiece for Mac 版
无监督文本分词器和去分词器
sentencepiece 是什么
SentencePiece 是一个面向神经网络文本生成系统(如大语言模型)的快速、轻量级无监督分词与反分词工具,适用于训练前就已固定词表大小的场景。它支持 BPE 和 unigram 语言模型两种子词单元,可直接从原始句子训练,把输入当作 Unicode 字符序列处理,从而省去针对特定语言的预处理和后处理。
它的核心特点是把空格转义为元符号 ▁ 并纳入分词,使反分词成为无损的字符串拼接,不再依赖语言规则;训练完全由数据驱动,无需 Moses、MeCab 等预分词器,对中文、日文、泰文这类没有明确词边界的语言尤其有效。它还支持子词正则化和 BPE-Dropout,在训练中动态采样不同切分,增强模型对拼写变化和噪声的鲁棒性。工具用优化过的 C++ 编写,分词速度约每秒 5 万句,内存占用仅约 6MB,生成的 .model 文件自带归一化规则、词表映射和切分模型,整体自包含。适合需要构建端到端、语言无关分词流程的 NLP 开发者和研究者使用。
它的核心特点是把空格转义为元符号 ▁ 并纳入分词,使反分词成为无损的字符串拼接,不再依赖语言规则;训练完全由数据驱动,无需 Moses、MeCab 等预分词器,对中文、日文、泰文这类没有明确词边界的语言尤其有效。它还支持子词正则化和 BPE-Dropout,在训练中动态采样不同切分,增强模型对拼写变化和噪声的鲁棒性。工具用优化过的 C++ 编写,分词速度约每秒 5 万句,内存占用仅约 6MB,生成的 .model 文件自带归一化规则、词表映射和切分模型,整体自包含。适合需要构建端到端、语言无关分词流程的 NLP 开发者和研究者使用。
如何安装 sentencepiece
- 打开 终端(按 ⌘ + 空格,输入“终端”)。
- 如果还没安装 Homebrew,先运行下面这条安装命令。
- 运行下面这条命令:
最近 10 个版本记录
最近一次更新为 2026-11-05,当前版本 v0.2.3,共记录最近 10 个版本。
| 版本 | 发布日期 | 类型 | 大小 | macOS | Windows | Linux |
|---|---|---|---|---|---|---|
| v0.2.3 | 2026-11-05 | 稳定版 | 2.1 MB | 下载 | 下载 | 下载 |
| v0.2.2 | 2026-07-12 | 稳定版 | 2.1 MB | 下载 | 下载 | 下载 |
| v0.2.1 | 2025-08-12 | 稳定版 | 1.5 MB | 下载 | 下载 | 下载 |
| v0.2.0 | 2024-02-19 | 稳定版 | 1.5 MB | 下载 | 下载 | 下载 |
| v0.1.99 | 2023-05-02 | 稳定版 | 947 KB | 下载 | 下载 | 下载 |
| v0.1.98 | 2023-04-12 | 稳定版 | 946 KB | 下载 | 下载 | 下载 |
| v0.1.97 | 2022-08-06 | 稳定版 | 937 KB | 下载 | 下载 | 下载 |
| v0.1.96 | 2021-06-17 | 稳定版 | 2.9 MB | — | 下载 | — |
| v0.1.95 | 2021-01-10 | 稳定版 | 2.9 MB | — | 下载 | — |
| v0.1.94 | 2020-10-24 | 稳定版 | 2.9 MB | — | 下载 | — |
数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。
被 1 个应用依赖
以下应用的安装命令会自动安装它,按 30 天安装量排序:
- mlx-lm1,866 安装/月
二进制包支持平台
Homebrew 官方提供的预编译包(bottle)覆盖:
- Apple 芯片 · 最新 macOS
- Apple 芯片 · macOS 26 Tahoe
- Apple 芯片 · macOS 15 Sequoia
- Linux · ARM64
- Linux · x86_64
⚠️ 未提供 Intel Mac 的预编译包,Intel 机型需要通过 brew install --build-from-source 从源码编译。
与同类应用对比
只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。
| 应用 | 版本 | 许可证 | 架构 | 近 30 天安装 |
|---|---|---|---|---|
| sentencepiece | v0.2.3 | Apache-2.0 | 命令行 | 1,113 |
| nbsdgames | v6.0.3 | LicenseRef-Homebrew-public-domain | 命令行 | 90 |
| boxes | v2.3.2 | GPL-3.0-only | 命令行 | 92 |
| markdown | 1.0.1 | BSD-3-Clause | 命令行 | 99 |
命令行工具中的类似应用
nbsdgames
nbsdgames 是一套面向终端的轻量级游戏合集,专为喜欢在命令行里打发时间的人准备。boxes
boxes 是一个命令行过滤器,能在你输入的文本外面套上 ASCII 艺术边框。用法很直接:把文本通过管道传给它,它就会画出各种样式的字符方框。markdown
Markdown 是一种轻量级标记语言,也是一种将纯文本转换为 HTML 的命令行工具。manticoresearch
Manticore Search 是一款开源、易用且面向搜索场景设计的高性能数据库,常被视为 Elasticsearch 的替代方案。openssl@4
OpenSSL 是一套开源、商用级、功能完整的加密工具箱,主要服务于 TLS(早期称 SSL)、DTLS 和 QUIC 协议。xz
XZ Utils 是一个通用数据压缩库,同时附带命令行工具。它的原生格式是 .xz,也兼容旧的 .lzma 格式。所属分类:命令行工具