
Website Crawler — Markdown Pages, Sitemaps & RAG Provenance
io.github.kriton-dev由 GitHub 账号 kriton-dev 发布v1.0.4更新于 Nov 3, 2026
使用站点地图、glob 和深度限制将网站抓取为 Markdown,并遵守 robots 和 crawl-delay
AI 翻译由 AI 模型根据下方的原文描述翻译,可能有误。
原文描述
Crawl sites to Markdown with sitemaps, globs and depth limits, obeying robots and crawl-delay
概览
Website Crawler — Markdown Pages, Sitemaps & RAG Provenance 的托管 MCP 服务(mcp.apify.com);需要 OAuth 登录或 API 密钥;Streamable HTTP。
暂无 AI 概览:以下信息来自注册中心条目和服务本身。
- 端点
- mcp.apify.com
- 最近检查
安装
在 SourceWeft 中
- 打开 控制台中的 Website Crawler — Markdown Pages, Sitemaps & RAG Provenance,将其添加到工作区。
- 连接 所需的 凭据。它们会被私密存储,绝不会在公开页面上展示。
- 为需要使用其工具的对话启用该服务。
Web executable,通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。
交给智能体安装
把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体,或 SourceWeft 对话中。智能体会读取该服务器的安装指南,先向你展示发布者、端点和登录方式,经你同意后再把它添加到你的客户端。密钥不会写进任何命令。
阅读 https://sourceweft.com/mcp/io.github.kriton-dev%2Fwebsite-to-markdown/install.md,并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前,先告诉我它的发布者、端点和登录方式,等我确认。不要把 API 密钥写进命令或我会提交的文件;问我密钥应从哪里获取。其他 MCP 客户端
把它添加到你客户端的 mcpServers 配置中。 客户端会在首次连接时完成 OAuth 登录。
{
"mcpServers": {
"website-crawler-markdown-pages-sitemaps": {
"type": "http",
"url": "https://mcp.apify.com/?tools=hermeskd/website-to-markdown"
}
}
}工具
0版本历史
2- v1.0.4最新Nov 3, 2026
- v1.0.2Oct 30, 2026
评分
已满足适用检查项的 67%
该评分衡量此收录条目的完整程度,依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价,也不表示服务器安全或当前可用:可连通性是带日期的检查结果,评分也不包含安装量或用户评价。
- 近 30 天内可连通必需25 分
- 已声明认证方式必需10 分
- 已列出工具15 分
请让服务器在无凭据时响应 tools/list,或发布可在沙箱中无凭据启动的软件包。
- 描述必需15 分
- 图标10 分
- 文档15 分
请声明包含 README 的 GitHub 仓库,或在 OAuth 受保护资源元数据中提供 resource_documentation。
- 许可证不适用
托管服务按其提供方的条款使用,因此这里不要求许可证。此检查项不计入百分比。