返回 AI 工具目录

0xMassi/webclaw

MCP 服务人工精选最近核验 2026年7月23日

webclaw 是一个用 Rust 写的本地优先网页内容提取工具,面向 LLM 场景,把网页转成干净的 Markdown、JSON、纯文本等格式。它针对抓取常见的两类问题:要么被拦截,要么拿到夹杂导航、脚本、广告的原始 HTML。提供单页抓取、整站爬取、URL 映射、批量处理、结构化提取、摘要、差异比对等能力,支持按选择器包含或排除并隔离正文。可作为 CLI、自托管 REST API,或 AI agent 的 MCP 服务器使用,也有 webclaw.io 托管 API,并提供 TypeScript、Python、Go SDK。基础操作本地运行、无需 API key。AGPL-3.0 许可,托管 API 为可选订阅。

定价免费增值部署本地运行、自托管、SaaS 云服务国内可达国内可达许可AGPL-3.0

解决什么问题

  • 把网页转成干净的 Markdown、JSON、纯文本
  • 隔离正文,去除导航、脚本、广告等噪声
  • 支持单页抓取、整站爬取与 URL 映射
  • 提供结构化提取、摘要、差异比对等能力
  • 基础操作本地运行,无需 API key

适合

  • 需要为 LLM 准备干净网页语料的团队
  • 偏好本地优先、数据不出本机的抓取场景
  • 想以 MCP 方式给 AI agent 接入网页读取
  • 熟悉 Rust/CLI 或愿自托管 REST API 的用户

不适合

  • AGPL-3.0 为强 copyleft,商用集成需评估合规
  • 大规模反爬绕过仍可能需外部代理服务
  • 托管 API 与代理商在境外,需自测可达性
  • 抓取需遵守目标站点条款与法律,工具不免责

如何接入

  • CLI 可经 Homebrew、二进制、Docker、Cargo 安装
  • 作为 MCP 服务器对接 Claude、Cursor、Windsurf
  • 可自托管 REST API 或调用 webclaw.io 托管 API
  • 提供 TypeScript、Python、Go 三种 SDK

已知限制

  • AGPL-3.0 copyleft,闭源商用需谨慎评估
  • 反爬能力有限,复杂站点或需代理配合
  • 托管 API、代理商均在境外,访问延迟不定
  • 抓取合规责任在使用方,需遵守站点规则

接入与使用事实

部署方式
本地运行、自托管、SaaS 云服务
实现语言
Rust
中文界面
待确认
中文文档
待确认
定价方式
免费增值
许可证
AGPL-3.0
国内可达性
国内可达
可达性观察
待补充
查看代码仓库

权限、依赖与维护信号

这些字段记录公开可见信号，不等同于安全审计结论。

权限信号

暂无公开信号。

依赖信号

暂无公开信号。

维护信号

暂无公开信号。

公开来源与证据

  1. 代码仓库仅作事实索引
    查看来源

访问官网