Nemo Curator
orchestra-research/ai-research-skills/05-data-processing/nemo-curator作者 orchestra-research773a52944ba4MIT13K 个星标收录于 2026年10月8日更新于 2026年10月8日仓库3个月前更新
GPU-accelerated data curation for LLM training. Supports text/image/video/audio. Features fuzzy deduplication (16× faster), quality filtering (30+ heuristics), semantic deduplication, PII redaction, NSFW detection. Scales across GPUs with RAPIDS. Use for preparing high-quality training datasets, cleaning web data, or deduplicating large corpora.
- 773a52944ba4当前提交 773a529发布于 2026年10月8日
来源与署名
来源：orchestra-research/ai-research-skills位于05-data-processing/nemo-curator提交773a529
许可证： MIT
内容归原作者所有。SourceWeft 从公开仓库中收录这些内容。
更多来自 orchestra-research/ai-research-skills 的技能
Speculative Decoding
orchestra-research
指导使用推测解码、Medusa 多头预测和前瞻解码来加速大语言模型推理。
Systems Paper Writing
orchestra-research
为 OSDI、SOSP、ASPLOS、NSDI 等系统会议论文写作提供段落级结构与篇幅分配指导。
Moe Training
orchestra-research
指导使用 DeepSpeed 或 HuggingFace 训练与推理混合专家模型，涵盖路由、负载均衡与专家并行。
Presenting Conference Talks
orchestra-research
Generates conference presentation slides (Beamer LaTeX PDF and editable PPTX) from a compiled paper with speaker notes and talk script. Use when preparing oral talks, spotlight presentations, or invited talks for ML and systems conferences.
Model Pruning
orchestra-research
指导使用 Wanda、SparseGPT、幅度剪枝和 N:M 方法压缩 LLM，减小模型体积并加速推理。
Outlines
orchestra-research
指导使用 Outlines 库，通过本地模型进行受结构约束的文本生成。
更多Data & Analytics技能
Audit Xls
anthropics
审计电子表格公式与财务模型，查找错误、硬编码和完整性问题并输出报告。
Comps Analysis
anthropics
以 Excel 电子表格形式构建机构级可比公司分析，包含经营指标、估值倍数与统计基准。
Audit Xls
anthropics
审计电子表格公式与财务模型，查找错误、硬编码和完整性问题并输出报告。
Audit Xls
anthropics
审计电子表格公式与财务模型，查找错误、硬编码和完整性问题并输出报告。
Comps Analysis
anthropics
以 Excel 电子表格形式构建机构级可比公司分析，包含经营指标、估值倍数与统计基准。
Audit Xls
anthropics
审计电子表格公式与财务模型，查找错误、硬编码和完整性问题并输出报告。