Moe Training
orchestra-research/ai-research-skills/19-emerging-techniques/moe-training作者 orchestra-research773a52944ba4MIT13K 个星标收录于 2026年10月8日更新于 2026年10月8日仓库3个月前更新
Train Mixture of Experts (MoE) models using DeepSpeed or HuggingFace. Use when training large-scale models with limited compute (5× cost reduction vs dense models), implementing sparse architectures like Mixtral 8x7B or DeepSeek-V3, or scaling model capacity without proportional compute increase. Covers MoE architectures, routing mechanisms, load balancing, expert parallelism, and inference optimization.
仅公开文件列表。将技能安装到工作区后即可查看文件内容。
| 路径 | 大小 | 类型 |
|---|---|---|
| references/architectures.md | 13.7 KB | text/markdown |
| references/inference.md | 8 KB | text/markdown |
| references/training.md | 9.5 KB | text/markdown |
| SKILL.md | 14.6 KB | text/markdown |
来源与署名
来源：orchestra-research/ai-research-skills位于19-emerging-techniques/moe-training提交773a529
许可证： MIT
内容归原作者所有。SourceWeft 从公开仓库中收录这些内容。
更多来自 orchestra-research/ai-research-skills 的技能
Speculative Decoding
orchestra-research
指导使用推测解码、Medusa 多头预测和前瞻解码来加速大语言模型推理。
Systems Paper Writing
orchestra-research
为 OSDI、SOSP、ASPLOS、NSDI 等系统会议论文写作提供段落级结构与篇幅分配指导。
Presenting Conference Talks
orchestra-research
把已完成的论文转化为会议演讲幻灯片，输出 Beamer LaTeX PDF 与可编辑 PPTX，并附演讲者备注。
Model Pruning
orchestra-research
指导使用 Wanda、SparseGPT、幅度剪枝和 N:M 方法压缩 LLM，减小模型体积并加速推理。
Outlines
orchestra-research
指导使用 Outlines 库，通过本地模型进行受结构约束的文本生成。
Ml Paper Writing
orchestra-research
指导撰写可发表的机器学习/人工智能会议论文，从研究仓库到 LaTeX 投稿定稿。
更多AI & Agents技能
Discernment Nudge
anthropics
在实质性回答后附加2-3个具体追问，帮助用户核查事实、推理与缺失背景。
Ppt Template Creator
anthropics
将用户的 PowerPoint 模板转化为可复用技能，用于生成品牌演示文稿。
Skill Development
anthropics
指导创建 Claude Code 插件技能，涵盖结构、描述、渐进式披露与验证。
Plugin Structure
anthropics
指导 Claude Code 插件的结构、清单与组件布局。
Command Development
anthropics
指导创建 Claude Code 斜杠命令，涵盖结构、YAML frontmatter、参数与插件功能。
Claude Md Improver
anthropics
审查仓库中的 CLAUDE.md 文件，评估其质量，并在获得批准后应用有针对性的改进。