Speculative Decoding
orchestra-research/ai-research-skills/19-emerging-techniques/speculative-decoding作者 orchestra-research773a52944ba4MIT13K 個星標收錄於 2026年10月8日更新於 2026年10月8日儲存庫3 個月前更新
Accelerate LLM inference using speculative decoding, Medusa multiple heads, and lookahead decoding techniques. Use when optimizing inference speed (1.5-3.6× speedup), reducing latency for real-time applications, or deploying models with limited compute. Covers draft models, tree-based attention, Jacobi iteration, parallel token generation, and production deployment strategies.
僅公開檔案列表。將技能安裝到工作區後即可檢視檔案內容。
| 路徑 | 大小 | 類型 |
|---|---|---|
| references/lookahead.md | 8.7 KB | text/markdown |
| references/medusa.md | 9.6 KB | text/markdown |
| SKILL.md | 13.7 KB | text/markdown |
來源與署名
來源：orchestra-research/ai-research-skills位於19-emerging-techniques/speculative-decoding提交773a529
授權條款： MIT
內容歸原作者所有。SourceWeft 從公開儲存庫中收錄這些內容。
更多來自 orchestra-research/ai-research-skills 的技能
Systems Paper Writing
orchestra-research
為 OSDI、SOSP、ASPLOS、NSDI 等系統會議論文寫作提供段落層級結構與篇幅分配指引。
Moe Training
orchestra-research
指導使用 DeepSpeed 或 HuggingFace 訓練與推論混合專家模型，涵蓋路由、負載平衡與專家平行。
Presenting Conference Talks
orchestra-research
Generates conference presentation slides (Beamer LaTeX PDF and editable PPTX) from a compiled paper with speaker notes and talk script. Use when preparing oral talks, spotlight presentations, or invited talks for ML and systems conferences.
Model Pruning
orchestra-research
指導使用 Wanda、SparseGPT、幅度剪枝與 N:M 方法壓縮 LLM，縮小模型體積並加速推論。
Outlines
orchestra-research
指導使用 Outlines 函式庫，透過本機模型進行受結構約束的文字生成。
Ml Paper Writing
orchestra-research
指導撰寫可發表的機器學習／人工智慧會議論文，從研究倉庫到 LaTeX 投稿定稿。
更多AI & Agents技能
Ppt Template Creator
anthropics
將使用者的 PowerPoint 範本轉換為可重用的技能，用來產生品牌簡報。
Skill Development
anthropics
指導建立 Claude Code 外掛技能，涵蓋結構、描述、漸進式揭露與驗證。
Plugin Structure
anthropics
說明 Claude Code 外掛的結構、資訊清單與元件配置方式。
Command Development
anthropics
指導建立 Claude Code 斜線命令，涵蓋結構、YAML frontmatter、參數與外掛功能。
Claude Md Improver
anthropics
稽核儲存庫中的 CLAUDE.md 檔案、評估其品質，並在取得核准後套用針對性的改進。
Find Skills
vercel-labs
指導透過 npx skills 命令列工具探索、評估並安裝代理技能。