Nemo Curator
orchestra-research/ai-research-skills/05-data-processing/nemo-curator作者 orchestra-research773a52944ba4MIT13K 個星標收錄於 2026年10月8日更新於 2026年10月8日儲存庫3 個月前更新
GPU-accelerated data curation for LLM training. Supports text/image/video/audio. Features fuzzy deduplication (16× faster), quality filtering (30+ heuristics), semantic deduplication, PII redaction, NSFW detection. Scales across GPUs with RAPIDS. Use for preparing high-quality training datasets, cleaning web data, or deduplicating large corpora.
僅公開檔案列表。將技能安裝到工作區後即可檢視檔案內容。
| 路徑 | 大小 | 類型 |
|---|---|---|
| references/deduplication.md | 2.1 KB | text/markdown |
| references/filtering.md | 2.3 KB | text/markdown |
| SKILL.md | 9.1 KB | text/markdown |
來源與署名
來源：orchestra-research/ai-research-skills位於05-data-processing/nemo-curator提交773a529
授權條款： MIT
內容歸原作者所有。SourceWeft 從公開儲存庫中收錄這些內容。
更多來自 orchestra-research/ai-research-skills 的技能
Speculative Decoding
orchestra-research
指導使用推測解碼、Medusa 多頭預測與前瞻解碼來加速大型語言模型推論。
Systems Paper Writing
orchestra-research
為 OSDI、SOSP、ASPLOS、NSDI 等系統會議論文寫作提供段落層級結構與篇幅分配指引。
Moe Training
orchestra-research
指導使用 DeepSpeed 或 HuggingFace 訓練與推論混合專家模型，涵蓋路由、負載平衡與專家平行。
Presenting Conference Talks
orchestra-research
Generates conference presentation slides (Beamer LaTeX PDF and editable PPTX) from a compiled paper with speaker notes and talk script. Use when preparing oral talks, spotlight presentations, or invited talks for ML and systems conferences.
Model Pruning
orchestra-research
指導使用 Wanda、SparseGPT、幅度剪枝與 N:M 方法壓縮 LLM，縮小模型體積並加速推論。
Outlines
orchestra-research
指導使用 Outlines 函式庫，透過本機模型進行受結構約束的文字生成。
更多Data & Analytics技能
Audit Xls
anthropics
稽核試算表公式與財務模型，找出錯誤、硬編碼和完整性問題並產出報告。
Comps Analysis
anthropics
以 Excel 試算表形式建立機構級可比公司分析，涵蓋營運指標、估值倍數與統計基準。
Audit Xls
anthropics
稽核試算表公式與財務模型，找出錯誤、硬編碼和完整性問題並產出報告。
Audit Xls
anthropics
稽核試算表公式與財務模型，找出錯誤、硬編碼和完整性問題並產出報告。
Comps Analysis
anthropics
以 Excel 試算表形式建立機構級可比公司分析，涵蓋營運指標、估值倍數與統計基準。
Audit Xls
anthropics
稽核試算表公式與財務模型，找出錯誤、硬編碼和完整性問題並產出報告。