Data Scraper Agent

作者 affaan-mef648e01899b無授權條款275K 個星標收錄於 2026年10月8日更新於 2026年10月8日儲存庫3 天前更新

任意のパブリックソース（ジョブボード、価格、ニュース、GitHub、スポーツなど）用の完全自動化されたAI搭載データ収集エージェントを構築します。スケジュールでスクレイプし、無料LLM（Gemini Flash）でデータを豊かにし、Notion/Sheets/Supabaseに結果を保存し、ユーザーフィードバックから学習します。GitHub Actions上で100％無料で実行。ユーザーがパブリックデータを自動的に監視、収集、または追跡したい場合に使用します。

僅含說明AI & Agents
AI 產生的概覽

建立自動化 AI 資料蒐集代理，依排程抓取公開來源、用免費 LLM 豐富資料並儲存結果。

功能
此技能引導建立正式環境等級的資料蒐集代理，分為蒐集、豐富與儲存三層。它說明如何用 Playwright 或 BeautifulSoup 抓取公開網站或 API，用 Gemini Flash 對蒐集到的文字進行評分、摘要或分類，並將結果儲存到 Notion、Sheets 或 Supabase。它也涵蓋以 GitHub Actions 安排執行，以及加入會從使用者判斷中學習的回饋迴路。
適用情境
當使用者想要抓取或監控公開網站或 API，追蹤職缺、價格、新聞、程式碼儲存庫、體育比分、活動或清單，或在不支付主機費用的情況下自動化資料蒐集時，適合使用。它也適用於希望代理能隨時間依使用者判斷改進的需求。
執行需求
僅為說明文件，未附指令碼。需要 Python、Playwright 或 BeautifulSoup 等抓取函式庫、Gemini Flash API 金鑰、Notion、Google Sheets 或 Supabase 等儲存目標，以及用於排程的 GitHub Actions。

データスクレイパーエージェント

任意のパブリックデータソース用の本番環境対応、AI搭載データ収集エージェントを構築。 スケジュールで実行され、無料LLMで結果を豊かにし、データベースに保存し、時間とともに改善されます。

スタック：Python · Gemini Flash（無料） · GitHub Actions（無料） · Notion / Sheets / Supabase

アクティベーション時期

  • ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合
  • ユーザーが「チェックするボットを構築」「Xを監視」「データを収集」と言う
  • ユーザーがジョブ、価格、ニュース、リポ、スポーツスコア、イベント、リストを追跡したい場合
  • ユーザーがホスティング用に支払わずにデータ収集を自動化する方法を尋ねる
  • ユーザーが決定に基づいて時間とともにより スマートになるエージェントを望む

コアコンセプト

3つのレイヤー

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

COLLECT → ENRICH → STORE  │           │        │Scraper    AI (LLM)  Databaseruns on    scores/   Notion /schedule   summarises Sheets /           & classifies Supabase

無料スタック

LayerToolWhy
COLLECTPlaywright/BeautifulSoup無料のオープンソーススクレイピング
ENRICHGemini Flash無料で高速LLM
STORESupabase / Sheets無料データベースとスプレッドシート
SCHEDULEGitHub Actions無料クロンジョブ

ワークフロー

  1. ソースを定義 - どこからスクレイプするか、何を抽出するか
  2. スクレイパーを構築 - BeautifulSoup または Playwright ベースのコレクタ
  3. LLMを構成 - Gemini Flash でテキストをスコア付け/要約/分類
  4. ストレージを設定 - Notion、Sheets、Supabase のいずれか
  5. GitHub Actions を設定 - 毎日/毎週実行するスケジュール
  6. フィードバックループを追加 - ユーザーの判断から学習

例

  • ジョブボード監視：新しい公開

來源與署名

來源：affaan-m/ecc位於docs/ja-JP/skills/data-scraper-agent提交ef648e0

授權條款： 無授權條款

內容歸原作者所有。SourceWeft 從公開儲存庫中收錄這些內容。

檢舉或申請下架

更多來自 affaan-m/ecc 的技能

Vue Patterns

affaan-m

Vue 3 Composition API、元件架構、Pinia 狀態管理、Vue Router 與 Nuxt SSR 模式的參考指南。

Software Development275K3 天前更新

Uncloud

affaan-m

使用 uc CLI 管理 Uncloud 叢集的參考指南：部署服務、Caddy 入口、連接埠、擴縮與日誌。

DevOps & Cloud275K3 天前更新

Team Agent Orchestration

affaan-m

以團隊方式協調多個 AI 代理，運用工作項目、看板狀態、分支隔離與合併閘門。

AI & Agents275K3 天前更新

Tasteforge Video

affaan-m

Use for file-driven multimodal image, video, and 3D-asset discovery; taste interviews; distill or apply workflows; style-pack validation; editable EDL/FCPXML export; provenance audits; and offline planning that must fail closed before provider generation.

待分類275K3 天前更新

Taste

affaan-m

為音樂影片與短影音剪輯定義 angelcore / cloud-trance / hyperpop 視覺方向，包含氛圍、剪輯語法與對拍分鏡規劃。

Design & Creative275K3 天前更新

Social Publisher

affaan-m

透過 SocialClaw 工作區 API 在 13 個平台上排程與發佈社群媒體貼文。

Marketing & Sales275K3 天前更新

更多AI & Agents技能

Skill Development

anthropics

精選

指導建立 Claude Code 外掛技能，涵蓋結構、描述、漸進式揭露與驗證。

AI & Agents37K今天更新

Plugin Structure

anthropics

精選

說明 Claude Code 外掛的結構、資訊清單與元件配置方式。

AI & Agents37K今天更新

Command Development

anthropics

精選

指導建立 Claude Code 斜線命令，涵蓋結構、YAML frontmatter、參數與外掛功能。

AI & Agents37K今天更新

Claude Md Improver

anthropics

精選

稽核儲存庫中的 CLAUDE.md 檔案、評估其品質，並在取得核准後套用針對性的改進。

AI & Agents37K今天更新

Find Skills

vercel-labs

精選

指導透過 npx skills 命令列工具探索、評估並安裝代理技能。

AI & Agents33K今天更新

Plugin Creator

openai

精選

為 Codex 建立外掛目錄，產生 .codex-plugin/plugin.json 清單與可選的外掛市集項目。

包含腳本
AI & Agents27K4 週前更新