Gptq
orchestra-research/ai-research-skills/10-optimization/gptq作者 orchestra-research773a52944ba4MIT13K 个星标收录于 2026年10月8日更新于 2026年10月8日仓库3个月前更新
Post-training 4-bit quantization for LLMs with minimal accuracy loss. Use for deploying large models (70B, 405B) on consumer GPUs, when you need 4× memory reduction with <2% perplexity degradation, or for faster inference (3-4× speedup) vs FP16. Integrates with transformers and PEFT for QLoRA fine-tuning.
- 773a52944ba4当前提交 773a529发布于 2026年10月8日
来源与署名
来源：orchestra-research/ai-research-skills位于10-optimization/gptq提交773a529
许可证： MIT
内容归原作者所有。SourceWeft 从公开仓库中收录这些内容。
更多来自 orchestra-research/ai-research-skills 的技能
Speculative Decoding
orchestra-research
指导使用推测解码、Medusa 多头预测和前瞻解码来加速大语言模型推理。
Systems Paper Writing
orchestra-research
为 OSDI、SOSP、ASPLOS、NSDI 等系统会议论文写作提供段落级结构与篇幅分配指导。
Moe Training
orchestra-research
指导使用 DeepSpeed 或 HuggingFace 训练与推理混合专家模型，涵盖路由、负载均衡与专家并行。
Presenting Conference Talks
orchestra-research
Generates conference presentation slides (Beamer LaTeX PDF and editable PPTX) from a compiled paper with speaker notes and talk script. Use when preparing oral talks, spotlight presentations, or invited talks for ML and systems conferences.
Model Pruning
orchestra-research
指导使用 Wanda、SparseGPT、幅度剪枝和 N:M 方法压缩 LLM，减小模型体积并加速推理。
Outlines
orchestra-research
指导使用 Outlines 库，通过本地模型进行受结构约束的文本生成。
更多Software Development技能
Playground
anthropics
构建自包含的交互式 HTML 演练场，包含控件、实时预览和可复制的提示词输出。
M5 Onboard
anthropics
通过 USB 检测 M5Stack ESP32 开发板，刷写 UIFlow 2.0 固件并安装 MicroPython 应用包。
Cardputer Buddy
anthropics
指导迭代 Cardputer-Adv 的 MicroPython 应用包：添加应用、通过 USB 串口推送文件、查看日志并运行 REPL 命令。
Web Design Guidelines
vercel-labs
依据从远程来源获取的 Web Interface Guidelines 审查 UI 代码，并以 file:line 形式报告问题。
Vercel React Native Skills
vercel-labs
React Native 与 Expo 最佳实践规则，涵盖列表性能、动画、导航、UI 模式、状态与 monorepo 配置。
Vercel React Best Practices
vercel-labs
Vercel 的 React 与 Next.js 性能指南，以 70 条规则的形式用于编写、审查和重构代码。