Moe Training
orchestra-research/ai-research-skills/19-emerging-techniques/moe-training作者 orchestra-research773a52944ba4MIT13K 個星標收錄於 2026年10月8日更新於 2026年10月8日儲存庫3 個月前更新
Train Mixture of Experts (MoE) models using DeepSpeed or HuggingFace. Use when training large-scale models with limited compute (5× cost reduction vs dense models), implementing sparse architectures like Mixtral 8x7B or DeepSeek-V3, or scaling model capacity without proportional compute increase. Covers MoE architectures, routing mechanisms, load balancing, expert parallelism, and inference optimization.
- 773a52944ba4目前提交 773a529發布於 2026年10月8日
來源與署名
來源：orchestra-research/ai-research-skills位於19-emerging-techniques/moe-training提交773a529
授權條款： MIT
內容歸原作者所有。SourceWeft 從公開儲存庫中收錄這些內容。
更多來自 orchestra-research/ai-research-skills 的技能
Speculative Decoding
orchestra-research
指導使用推測解碼、Medusa 多頭預測與前瞻解碼來加速大型語言模型推論。
Systems Paper Writing
orchestra-research
為 OSDI、SOSP、ASPLOS、NSDI 等系統會議論文寫作提供段落層級結構與篇幅分配指引。
Presenting Conference Talks
orchestra-research
Generates conference presentation slides (Beamer LaTeX PDF and editable PPTX) from a compiled paper with speaker notes and talk script. Use when preparing oral talks, spotlight presentations, or invited talks for ML and systems conferences.
Model Pruning
orchestra-research
指導使用 Wanda、SparseGPT、幅度剪枝與 N:M 方法壓縮 LLM，縮小模型體積並加速推論。
Outlines
orchestra-research
指導使用 Outlines 函式庫，透過本機模型進行受結構約束的文字生成。
Ml Paper Writing
orchestra-research
指導撰寫可發表的機器學習／人工智慧會議論文，從研究倉庫到 LaTeX 投稿定稿。
更多AI & Agents技能
Ppt Template Creator
anthropics
將使用者的 PowerPoint 範本轉換為可重用的技能，用來產生品牌簡報。
Skill Development
anthropics
指導建立 Claude Code 外掛技能，涵蓋結構、描述、漸進式揭露與驗證。
Plugin Structure
anthropics
說明 Claude Code 外掛的結構、資訊清單與元件配置方式。
Command Development
anthropics
指導建立 Claude Code 斜線命令，涵蓋結構、YAML frontmatter、參數與外掛功能。
Claude Md Improver
anthropics
稽核儲存庫中的 CLAUDE.md 檔案、評估其品質，並在取得核准後套用針對性的改進。
Find Skills
vercel-labs
指導透過 npx skills 命令列工具探索、評估並安裝代理技能。