Data Scraper Agent

作者 affaan-mef648e01899b无许可证275K 个星标收录于 2026年10月8日更新于 2026年10月8日仓库3天前更新

任意のパブリックソース（ジョブボード、価格、ニュース、GitHub、スポーツなど）用の完全自動化されたAI搭載データ収集エージェントを構築します。スケジュールでスクレイプし、無料LLM（Gemini Flash）でデータを豊かにし、Notion/Sheets/Supabaseに結果を保存し、ユーザーフィードバックから学習します。GitHub Actions上で100％無料で実行。ユーザーがパブリックデータを自動的に監視、収集、または追跡したい場合に使用します。

仅含说明AI & Agents
AI 生成的概览

构建自动化 AI 数据采集代理，按计划抓取公开来源、用免费 LLM 丰富数据并存储结果。

功能
该技能指导构建生产级数据采集代理，分为采集、丰富和存储三层。它说明如何用 Playwright 或 BeautifulSoup 抓取公开网站或 API，用 Gemini Flash 对采集到的文本进行评分、摘要或分类，并将结果保存到 Notion、Sheets 或 Supabase。它还涵盖用 GitHub Actions 安排运行，以及加入根据用户判断不断改进的反馈循环。
适用场景
当用户想要抓取或监控公开网站或 API，跟踪职位、价格、新闻、代码仓库、体育比分、活动或清单，或在不支付托管费用的情况下自动化数据采集时，适合使用。它也适用于希望代理能根据用户判断随时间改进的请求。
运行要求
仅为说明文档，不附带脚本。需要 Python、Playwright 或 BeautifulSoup 等抓取库、Gemini Flash API 密钥、Notion、Google Sheets 或 Supabase 等存储目标，以及用于调度的 GitHub Actions。

データスクレイパーエージェント

任意のパブリックデータソース用の本番環境対応、AI搭載データ収集エージェントを構築。 スケジュールで実行され、無料LLMで結果を豊かにし、データベースに保存し、時間とともに改善されます。

スタック：Python · Gemini Flash（無料） · GitHub Actions（無料） · Notion / Sheets / Supabase

アクティベーション時期

  • ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合
  • ユーザーが「チェックするボットを構築」「Xを監視」「データを収集」と言う
  • ユーザーがジョブ、価格、ニュース、リポ、スポーツスコア、イベント、リストを追跡したい場合
  • ユーザーがホスティング用に支払わずにデータ収集を自動化する方法を尋ねる
  • ユーザーが決定に基づいて時間とともにより スマートになるエージェントを望む

コアコンセプト

3つのレイヤー

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

COLLECT → ENRICH → STORE  │           │        │Scraper    AI (LLM)  Databaseruns on    scores/   Notion /schedule   summarises Sheets /           & classifies Supabase

無料スタック

LayerToolWhy
COLLECTPlaywright/BeautifulSoup無料のオープンソーススクレイピング
ENRICHGemini Flash無料で高速LLM
STORESupabase / Sheets無料データベースとスプレッドシート
SCHEDULEGitHub Actions無料クロンジョブ

ワークフロー

  1. ソースを定義 - どこからスクレイプするか、何を抽出するか
  2. スクレイパーを構築 - BeautifulSoup または Playwright ベースのコレクタ
  3. LLMを構成 - Gemini Flash でテキストをスコア付け/要約/分類
  4. ストレージを設定 - Notion、Sheets、Supabase のいずれか
  5. GitHub Actions を設定 - 毎日/毎週実行するスケジュール
  6. フィードバックループを追加 - ユーザーの判断から学習

例

  • ジョブボード監視：新しい公開

来源与署名

来源：affaan-m/ecc位于docs/ja-JP/skills/data-scraper-agent提交ef648e0

许可证： 无许可证

内容归原作者所有。SourceWeft 从公开仓库中收录这些内容。

举报或申请下架

更多来自 affaan-m/ecc 的技能

Vue Patterns

affaan-m

Vue 3 Composition API、组件架构、Pinia 状态管理、Vue Router 与 Nuxt SSR 模式的参考指南。

Software Development275K3天前更新

Uncloud

affaan-m

使用 uc CLI 管理 Uncloud 集群的参考指南：部署服务、Caddy 入口、端口、扩缩容与日志。

DevOps & Cloud275K3天前更新

Team Agent Orchestration

affaan-m

以团队方式协调多个 AI 智能体，使用工作项、看板状态、分支隔离与合并门禁。

AI & Agents275K3天前更新

Tasteforge Video

affaan-m

Use for file-driven multimodal image, video, and 3D-asset discovery; taste interviews; distill or apply workflows; style-pack validation; editable EDL/FCPXML export; provenance audits; and offline planning that must fail closed before provider generation.

待分类275K3天前更新

Taste

affaan-m

为音乐视频和短视频剪辑定义 angelcore / cloud-trance / hyperpop 视觉方向，包含氛围、剪辑语法与按节拍映射的分镜方案。

Design & Creative275K3天前更新

Social Publisher

affaan-m

通过 SocialClaw 工作区 API 在 13 个平台上安排和发布社交媒体帖子。

Marketing & Sales275K3天前更新

更多AI & Agents技能

Skill Development

anthropics

精选

指导创建 Claude Code 插件技能，涵盖结构、描述、渐进式披露与验证。

AI & Agents37K今天更新

Plugin Structure

anthropics

精选

指导 Claude Code 插件的结构、清单与组件布局。

AI & Agents37K今天更新

Command Development

anthropics

精选

指导创建 Claude Code 斜杠命令，涵盖结构、YAML frontmatter、参数与插件功能。

AI & Agents37K今天更新

Claude Md Improver

anthropics

精选

审查仓库中的 CLAUDE.md 文件，评估其质量，并在获得批准后应用有针对性的改进。

AI & Agents37K今天更新

Find Skills

vercel-labs

精选

指导通过 npx skills 命令行工具发现、评估并安装智能体技能。

AI & Agents33K今天更新

Plugin Creator

openai

精选

为 Codex 搭建插件目录，生成 .codex-plugin/plugin.json 清单及可选的插件市场条目。

包含脚本
AI & Agents27K4周前更新