☰ 菜单
首页›命令行工具›sentencepiece
命令行 开源 1,113 次安装/月

sentencepiece for Mac 版

sentencepiece

无监督文本分词器和去分词器

sentencepiece 是什么

SentencePiece 是一个面向神经网络文本生成系统(如大语言模型)的快速、轻量级无监督分词与反分词工具,适用于训练前就已固定词表大小的场景。它支持 BPE 和 unigram 语言模型两种子词单元,可直接从原始句子训练,把输入当作 Unicode 字符序列处理,从而省去针对特定语言的预处理和后处理。

它的核心特点是把空格转义为元符号 ▁ 并纳入分词,使反分词成为无损的字符串拼接,不再依赖语言规则;训练完全由数据驱动,无需 Moses、MeCab 等预分词器,对中文、日文、泰文这类没有明确词边界的语言尤其有效。它还支持子词正则化和 BPE-Dropout,在训练中动态采样不同切分,增强模型对拼写变化和噪声的鲁棒性。工具用优化过的 C++ 编写,分词速度约每秒 5 万句,内存占用仅约 6MB,生成的 .model 文件自带归一化规则、词表映射和切分模型,整体自包含。适合需要构建端到端、语言无关分词流程的 NLP 开发者和研究者使用。

如何安装 sentencepiece

  1. 打开 终端(按 ⌘ + 空格,输入“终端”)。
  2. 如果还没安装 Homebrew,先运行下面这条安装命令。
  3. 运行下面这条命令:

最近 10 个版本记录

最近一次更新为 2026-11-05,当前版本 v0.2.3,共记录最近 10 个版本。

版本发布日期类型大小macOSWindowsLinux
v0.2.32026-11-05稳定版2.1 MB下载下载下载
v0.2.22026-07-12稳定版2.1 MB下载下载下载
v0.2.12025-08-12稳定版1.5 MB下载下载下载
v0.2.02024-02-19稳定版1.5 MB下载下载下载
v0.1.992023-05-02稳定版947 KB下载下载下载
v0.1.982023-04-12稳定版946 KB下载下载下载
v0.1.972022-08-06稳定版937 KB下载下载下载
v0.1.962021-06-17稳定版2.9 MB—下载—
v0.1.952021-01-10稳定版2.9 MB—下载—
v0.1.942020-10-24稳定版2.9 MB—下载—

数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。

被 1 个应用依赖

以下应用的安装命令会自动安装它,按 30 天安装量排序:

二进制包支持平台

Homebrew 官方提供的预编译包(bottle)覆盖:

  • Apple 芯片 · 最新 macOS
  • Apple 芯片 · macOS 26 Tahoe
  • Apple 芯片 · macOS 15 Sequoia
  • Linux · ARM64
  • Linux · x86_64

⚠️ 未提供 Intel Mac 的预编译包,Intel 机型需要通过 brew install --build-from-source 从源码编译。

与同类应用对比

只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。

与同类应用对比
应用版本许可证架构近 30 天安装
sentencepiecev0.2.3Apache-2.0命令行1,113
nbsdgamesv6.0.3LicenseRef-Homebrew-public-domain命令行90
boxesv2.3.2GPL-3.0-only命令行92
markdown1.0.1BSD-3-Clause命令行99

命令行工具中的类似应用

发表评论

电子邮件地址不会被公开。必填项已用 * 标注。