snowball for Mac 版
词干提取算法
snowball 是什么
Snowball 是一个小型的字符串处理语言,专门用于编写信息检索中的词干提取算法,同时附带一套用该语言实现的词干提取算法集合。它最初由 Martin Porter 设计开发,2014 年后转为社区维护项目。名字既是对 1960 年代优秀字符串处理语言 SNOBOL 的致敬,也隐喻项目通过持续积累贡献而不断壮大。
其核心是 Snowball 编译器,能将 Snowball 程序翻译成多种目标语言的源代码,目前支持 Ada、C、C++、C#、Dart、Go、Java、JavaScript、Object Pascal、PHP、Python、Rust 和 Zig。编译器本身用 ISO C 编写,构建需要支持 C99 的 C 编译器。
词干提取的作用是把同一单词的不同形式映射到共同词干,例如英文词干器会把 connection、connections、connective、connected、connecting 都归为 connect,这样搜索 connected 时也能命中只包含其他形式的文档。需要注意的是,Snowball 面向文本搜索场景,追求合并同义而非同一词根的词(如 awe 与 awful 不同干),且更怕过度提取,因此难以判断的情况倾向不提取。如果你要求词干本身必须是完整单词,或必须还原到语言学词根,Snowball 的算法可能并不合适。
它适合从事搜索引擎、全文检索或自然语言处理的开发者,尤其是需要跨语言生成词干算法实现的场景。
其核心是 Snowball 编译器,能将 Snowball 程序翻译成多种目标语言的源代码,目前支持 Ada、C、C++、C#、Dart、Go、Java、JavaScript、Object Pascal、PHP、Python、Rust 和 Zig。编译器本身用 ISO C 编写,构建需要支持 C99 的 C 编译器。
词干提取的作用是把同一单词的不同形式映射到共同词干,例如英文词干器会把 connection、connections、connective、connected、connecting 都归为 connect,这样搜索 connected 时也能命中只包含其他形式的文档。需要注意的是,Snowball 面向文本搜索场景,追求合并同义而非同一词根的词(如 awe 与 awful 不同干),且更怕过度提取,因此难以判断的情况倾向不提取。如果你要求词干本身必须是完整单词,或必须还原到语言学词根,Snowball 的算法可能并不合适。
它适合从事搜索引擎、全文检索或自然语言处理的开发者,尤其是需要跨语言生成词干算法实现的场景。
如何安装 snowball
- 打开 终端(按 ⌘ + 空格,输入“终端”)。
- 如果还没安装 Homebrew,先运行下面这条安装命令。
- 运行下面这条命令:
最近 10 个版本记录
该项目暂未在 GitHub 发布 Release。
与同类应用对比
只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。
| 应用 | 版本 | 许可证 | 架构 | 近 30 天安装 |
|---|---|---|---|---|
| snowball | 3.1.1 | BSD-3-Clause | 命令行 | 5 |
| ompl | 2.0.2 | BSD-3-Clause | 命令行 | 5 |
| biodiff | v1.2.1 | MIT | 命令行 | 5 |
| libswiftnav | 2.4.2 | LGPL-3.0-only | 命令行 | 1 |
命令行工具中的类似应用
ompl
OMPL(Open Motion Planning Library)是一个开源的基于采样的运动规划库,内置超过 40 种采样规划算法(如 RRT-Conne…biodiff
biodiff 是一款命令行下的二进制文件对比工具,核心思路是把生物信息学中的序列比对算法(来自 wfa2 或 rust-bio 库,原本用于 DNA 序列…libswiftnav
libswiftnav 是一个平台无关的 C 语言库,用标准 C 编写且不依赖外部库,为软件定义 GNSS 接收机或需要 GNSS 功能的软件提供 GNSS…pinocchio
Pinocchio 是 Inria Willow 团队开发的开源刚体算法库,面向多关节系统提供先进的动力学计算能力。openssl@4
OpenSSL 是一套开源、商用级、功能完整的加密工具箱,主要服务于 TLS(早期称 SSL)、DTLS 和 QUIC 协议。xz
XZ Utils 是一个通用数据压缩库,同时附带命令行工具。它的原生格式是 .xz,也兼容旧的 .lzma 格式。所属分类:命令行工具