搜尋引擎與 AI 爬蟲工具箱

dev.workers.panda198271.tw-search-seo由 tw-search-seo.panda198271.workers.dev 发布官方发布者v1.0.0更新于 Oct 24, 2026

檢查網站爬蟲設定、驗證爬蟲 IP、IndexNow 提交與 YouTube SEO 檢查。

已验证Streamable HTTP可网页运行网页搜索与抓取开发者工具

概览

AI 生成的概览

一个远程工具箱，帮助助手审查网站的爬虫与 SEO 设置、生成搜索与元数据标记，并通过 IndexNow 提交网址。

可以做什么
它提供 14 个 SEO 与爬虫工具。助手可以为 Google、Bing、Yahoo 奇摩、百度和 YouTube 生成高级搜索网址，对照各搜索引擎对搜索指令的支持情况，并按 RFC 9309 生成或测试 robots.txt。它可以检查网站的 robots.txt、Sitemap 和 llms.txt 是否屏蔽了搜索与 AI 爬虫，列出爬虫 User-Agent 名单，并验证某个 IP 是否真的来自 Googlebot、GPTBot 等爬虫。它还能预览搜索结果标题与描述、生成 meta 标签与 JSON-LD、检查 YouTube 章节与标签上限、通过 IndexNow 提交网址、报告搜索引擎市占率，并评估网页被 AI 答案引擎引用的准备度。
适用场景
适合审查或改进网站的搜索可见性与 AI 爬虫可访问性、判断爬虫是被正常屏蔽还是被冒充，或为网页准备收录与答案引擎引用。也适合起草 meta 标签、robots.txt 规则和 YouTube 元数据。
运行要求
远程 streamable HTTP 端点，无需安装软件包。未声明认证、环境变量或请求头。IndexNow 提交需要网站上已放置密钥文件。部分工具依赖官方爬虫 IP 清单和 StatCounter 等外部数据，因此需要网络访问。
安装前请注意
indexnow_submit 会通知搜索引擎网址已更新，属于影响线上网站的外部操作；它需要网站上的密钥文件，最多接受 100 个网址。verify_crawler_ip 依赖官方 IP 清单与反向 DNS 查询。其他工具只生成或检查内容，但部署前应复核生成的 robots.txt 与 meta 标签。

安装

在 SourceWeft 中

  1. 打开 控制台中的 搜尋引擎與 AI 爬蟲工具箱，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/dev.workers.panda198271.tw-search-seo%2Fsearch-seo/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。

{
  "mcpServers": {
    "ai": {
      "type": "http",
      "url": "https://tw-search-seo.panda198271.workers.dev/mcp"
    }
  }
}

工具

14

build_search_urls

一次產生 Google、Bing、Yahoo 奇摩、百度、YouTube 的進階搜尋網址（關鍵字、完全符合、排除字、限定網站、檔案類型、時間）。

输入参数q必填sitetimeexactexcludefiletype

search_operators

搜尋指令（site:、filetype:、intitle:、before: 等）在 Google、Bing、Yahoo、百度的支援對照與已失效指令。

输入参数engine

generate_robots_txt

產生 robots.txt：allow_all、block_training（封鎖 AI 訓練保留搜尋）、block_all_ai、block_all，可加不抓路徑與 Sitemap。

输入参数modesitemapdisallow

test_robots_txt

依 RFC 9309 測試某個 User-Agent 能否抓取某路徑。

输入参数pathrobots必填user_agent必填

check_site_crawlers

檢查網站的 robots.txt、Sitemap、llms.txt，以及 Googlebot、bingbot、GPTBot、ClaudeBot、PerplexityBot 等是否被封鎖，附改善建議。

输入参数url必填

ai_crawler_list

AI 與搜尋引擎爬蟲 User-Agent 名單：業者、用途、是否遵守 robots.txt、官方 IP 清單。

输入参数type

verify_crawler_ip

驗證 IP 是否真的來自 Googlebot、bingbot、GPTBot、ClaudeBot、PerplexityBot、Applebot、Baiduspider 等（官方 IP 清單＋反查 DNS）。

输入参数ip必填bot

serp_preview

預覽 Google 搜尋結果標題與描述，估算中文像素寬度與截斷位置。

输入参数urltitle必填description

generate_meta_tags

產生 title、description、canonical、Open Graph、Twitter 卡片與 JSON-LD。

输入参数urltypeimagetitle必填site_namedescription

youtube_seo_check

檢查 YouTube 章節時間碼（0:00 起、至少 3 段、每段 10 秒）與標題、說明、標籤、主題標籤數量上限。

输入参数tagstitlechaptersdurationdescription

indexnow_submit

用 IndexNow 通知 Bing、Yandex、Naver 等搜尋引擎網址已更新（需先在網站放金鑰檔，最多 100 個網址）。

输入参数key必填host必填urls必填keyLocation

search_engine_market_share

台灣與全球搜尋引擎市佔率（Google、Bing、Yahoo、百度等，StatCounter 最新月份）。

无需输入参数。

search_submit_guide

如何讓 Google、Bing、Yahoo、百度、YouTube、AI 搜尋收錄網站：工具、步驟與 API。

无需输入参数。

geo_citation_audit

AEO／GEO 引用準備度健檢：檢查網頁能否被 ChatGPT、Perplexity、Google AI 摘要等答案引擎引用（爬蟲可讀、開頭直接回答、問句標題、表格、外部與權威來源、更新日期、JSON-LD citation、llms.txt、Markdown 版、Content-Digest），給分數與優先修正清單。

输入参数url必填

版本历史

1
  1. v1.0.0最新Sep 27, 2026

评分

已满足适用检查项的 83%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 图标10 分
  • 文档15 分

    请声明包含 README 的 GitHub 仓库，或在 OAuth 受保护资源元数据中提供 resource_documentation。

  • 许可证不适用

    托管服务按其提供方的条款使用，因此这里不要求许可证。此检查项不计入百分比。