EcoCompute Should-I-Quantize Estimator

io.github.hongping-zh由 GitHub 帳號 hongping-zh 發布v1.0.0更新於 Oct 24, 2026

Energy impact of LLM quantization, calibrated to measured GPU data. Every answer states its basis.

已驗證Streamable HTTP可網頁執行雲端與基礎設施資料與分析AI 與機器學習

概覽

AI 產生的概覽

遠端 MCP 伺服器,讓助理依實測 GPU 資料估算 LLM 權重量化(NF4/INT8)相對 FP16 的任務層級能耗變化。

可以做什麼
估算指定模型大小與 GPU 架構類別下,NF4 或 INT8 權重量化相對 FP16 的任務層級能耗變化,並標示依據、信心與證據邊界。查詢各架構下 NF4 與 INT8 的模型大小交叉點,低於該點量化反而更耗能。列出實際量測、借用或估算的資料範圍與缺口,先確認自己的 GPU 是否有資料。依模型名稱、GPU 名稱、架構或大小搜尋量測錨點,取得各錨點的能耗變化與執行次數。
適用情境
當你想在特定 GPU 架構上比較 NF4 或 INT8 權重量化與 FP16 的任務層級能耗,或想知道某個模型大小是否已超過量化的節能門檻時使用。也適合在引用估算值前先確認資料涵蓋範圍。
執行需求
遠端端點,無需本機安裝套件;宣告無需驗證、環境變數或標頭。需網路連線。
安裝前請注意
數值為 GPU 封裝功耗而非整機牆面功耗,不能直接當作總用電。涵蓋範圍外的組合不會外推,估算值與量測值須依標示的依據與信心區分使用。貢獻量測資料需前往外部程式碼倉庫。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 EcoCompute Should-I-Quantize Estimator,將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Web executable,透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式,或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南,先向你展示發布者、端點和登入方式,經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/io.github.hongping-zh%2Fecocompute-estimator/install.md,並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前,先告訴我它的發布者、端點和登入方式,等我確認。不要把 API 金鑰寫進命令或我會提交的檔案;問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。

{
  "mcpServers": {
    "ecocompute-should-i-quantize-estimator": {
      "type": "http",
      "url": "https://ecocompute-estimator.zhanghongping1982.workers.dev/mcp"
    }
  }
}

README

該儲存庫沒有 README。

工具

4

estimate_quantization_energy

Estimate the task-level energy change (ΔE% vs FP16) of weight-only quantization (NF4 or INT8) for a model of a given size on a GPU architecture class, from measured-anchored curves. The answer carries basis (measured/interpolated/estimated), confidence and evidence boundaries.

輸入參數qctxarchbatchparams_bprecision

get_quantization_crossover

Get the model-size crossover for NF4/INT8 per architecture: below it quantization costs energy, above it saves. Crossovers belong to a card + software stack, not an architecture — the answer says so.

輸入參數arch

list_data_coverage

List what is actually measured (GPU architecture × precision × size range, NVML direct), what is borrowed/estimated, and where the gaps are. Use this before trusting an estimate at the edges of coverage, and to answer 'is there data for my GPU?' honestly.

無需輸入參數。

search_measurements

Search the measured anchors by model name, GPU name, architecture or size. Returns ΔE% vs FP16 per anchor with run counts — the raw evidence behind the curves.

輸入參數query必填

版本歷史

1
  1. v1.0.0最新Oct 24, 2026

評分

已滿足適用檢查項的 75%

該評分衡量此收錄條目的完整程度,依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價,也不表示伺服器安全或目前可用:可連通性是帶日期的檢查結果,評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 圖示10 分
  • 文件15 分

    請宣告包含 README 的 GitHub 儲存庫,或在 OAuth 受保護資源後設資料中提供 resource_documentation。

  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。