sitefetch for Mac 版
获取整个网站并将其保存为文本文件
sitefetch 是什么
sitefetch 是一个命令行工具,能把整个网站抓取下来并保存成一个文本文件,方便喂给 AI 模型使用。它的核心功能是批量抓取站点内容,并通过 mozilla/readability 提取网页中的可读正文,去掉导航、广告等噪音。如果默认提取效果不理想,还可以用 CSS 选择器手动指定内容区域。此外,它支持用 `-m` / `--match` 参数按路径匹配特定页面,匹配规则由 micromatch 驱动,能灵活筛选要抓取的范围。这个工具解决的是把网站内容整理成干净文本、供大模型阅读的问题,适合需要为 AI 应用准备语料、做内容分析或离线阅读的开发者使用。项目基于 MIT 协议开源。
如何安装 sitefetch
- 打开 终端(按 ⌘ + 空格,输入“终端”)。
- 如果还没安装 Homebrew,先运行下面这条安装命令。
- 运行下面这条命令:
最近 10 个版本记录
该项目暂未在 GitHub 发布 Release。
二进制包支持平台
Homebrew 官方提供的预编译包(bottle)覆盖:
- all
⚠️ 未提供 Intel Mac 的预编译包,Intel 机型需要通过 brew install --build-from-source 从源码编译。
与同类应用对比
只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。
| 应用 | 版本 | 许可证 | 架构 | 近 30 天安装 |
|---|---|---|---|---|
| sitefetch | 0.0.17 | MIT | 命令行 | 1 |
| gostatic | 2.36 | ISC | 命令行 | 0 |
| lifelines | 3.1.1 | MIT | 命令行 | 0 |
| vilistextum | 2.6.9 | GPL-2.0-only | 命令行 | 0 |
命令行工具中的类似应用
gostatic
gostatic 是一个静态网站生成器,编译时会跟踪文件变化,因此速度相当快。它提供类似 Make 的配置框架,容易理解,也方便编写自定义配置。lifelines
LifeLines 是一套族谱(家谱)软件系统,当前源码版本为 3.2.0。它最初由 Thomas T. Wetmore IV 开发,并以 MIT 风格许可…vilistextum
Vilistextum 是一款将 HTML 网页转换为纯文本的命令行工具。它适合在终端环境下工作、希望快速提取网页正文内容的用户,比如需要把网页资料整理成可…xurls
xurls 是一个用正则表达式从文本中提取 URL 的 Go 库,需要 Go 1.26 或更高版本。dungeon
DUNGEON 是经典文字冒险游戏 Zork 系列的前身,最早由 Tim Anderson、Marc Blank、Bruce Daniels 和 Dave…openssl@4
OpenSSL 是一套开源、商用级、功能完整的加密工具箱,主要服务于 TLS(早期称 SSL)、DTLS 和 QUIC 协议。所属分类:命令行工具