Assessment Intelligence

ai.saifs由 saifs.ai 發布官方發布者v1.0.1更新於 Oct 30, 2026

Analyse tests for item quality, true ability, reliability and learner mastery.

發布方自己的服務:Customer Intelligence & Segmentation

已驗證Streamable HTTP可網頁執行資料與分析AI 與機器學習

概覽

AI 產生的概覽

遠端 MCP 伺服器,對評量作答資料進行心理計量分析,讓助理取得題目 IRT 參數、能力估計、信度與精熟度追蹤。

可以做什麼
  • 分析題目與測驗:逐題 IRT 難度、鑑別度與猜測參數,標記有問題的題目,並說明題目好壞的原因
  • 估計每位學生的真實能力(θ),與測驗難度分開,並提供 Cronbach's alpha 與題目-總分相關
  • 從題庫中為電腦化適性測驗挑選下一道最佳題目
  • 以貝氏知識追蹤評估技能精熟度,並標記軌跡預示失敗的學習者
適用情境
當你已有測驗或作答資料,希望助理評估題目品質、將學生能力與測驗難度分開、檢查信度、挑選適性下一題,或依學習歷程追蹤精熟度時適用。
執行需求
遠端 Streamable HTTP 端點,無需安裝。需透過 OAuth 2.1 登入(PKCE 與動態用戶端註冊),用戶端首次使用時會開啟登入頁面。適用於支援 OAuth 的用戶端,例如 VS Code/GitHub Copilot、Claude 與 Claude Code。
安裝前請注意
需透過 OAuth 登入服務提供者。評量作答資料(含每位學習者的作答與技能歷程)會傳送到遠端提供者進行分析;用於學生資料前請確認符合相關規範。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Assessment Intelligence,將其新增到工作區。
  2. 連接 所需的 憑證。它們會被私密儲存,絕不會在公開頁面上展示。
  3. 為需要使用其工具的對話啟用該服務。

Web executable,透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式,或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南,先向你展示發布者、端點和登入方式,經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/ai.saifs%2Fassessment-intelligence/install.md,並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前,先告訴我它的發布者、端點和登入方式,等我確認。不要把 API 金鑰寫進命令或我會提交的檔案;問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。 客戶端會在首次連接時完成 OAuth 登入。

{
  "mcpServers": {
    "assessment-intelligence": {
      "type": "http",
      "url": "https://assessment-intelligence-mcp.saifs.ai/mcp"
    }
  }
}

README

Assessment Intelligence

Psychometric analysis over assessment response data: Item Response Theory for item difficulty / discrimination / guessing, true ability (θ) separate from test difficulty, Cronbach’s alpha reliability, computerized adaptive next-item selection, and Bayesian Knowledge Tracing of skill mastery. Flags items that measure the wrong thing and learners whose trajectory predicts failure.

Registry nameai.saifs/assessment-intelligence
Endpointhttps://assessment-intelligence-mcp.saifs.ai/mcp
TransportStreamable HTTP (remote, nothing to install)
AuthOAuth 2.1 — PKCE (S256) and dynamic client registration; your client opens a sign-in page on first use
PublisherSAIFS AI

Install

VS Code / GitHub Copilot

Add to .vscode/mcp.json (workspace) or your user mcp.json:

json
{  "servers": {    "saifs-assessment-intelligence": {      "type": "http",      "url": "https://assessment-intelligence-mcp.saifs.ai/mcp"    }  }}

Then start the server from the MCP view and sign in when prompted.

Claude (claude.ai, Desktop)

Settings → Connectors → Add custom connector, and paste:

https://assessment-intelligence-mcp.saifs.ai/mcp

Claude Code

bash
claude mcp add --transport http saifs-assessment-intelligence https://assessment-intelligence-mcp.saifs.ai/mcp

Any other MCP client

Point it at https://assessment-intelligence-mcp.saifs.ai/mcp using the Streamable HTTP transport. The server returns 401 with a WWW-Authenticate: Bearer … resource_metadata=… challenge, so OAuth-aware clients sign in automatically.

Tools

ToolWhat it does
analyze_assessmentPer-item IRT parameters (difficulty, discrimination, guessing) and flags for bad items.
estimate_abilityEach student’s true ability (θ), separate from how hard the test was.
assessment_reliabilityCronbach’s alpha and item-total correlations.
adaptive_next_itemOptimal next question from an item bank given current ability (CAT).
track_masteryBayesian Knowledge Tracing: P(mastered) per skill over a learning history.
flag_at_risk_learnersStudents whose mastery / ability trajectory predicts failure — framed as support, not ranking.
explain_itemWhy an item is good or bad, with its fitted parameters.

Example prompts

  • “Here’s this mock’s response matrix. Which questions have negative discrimination and should be dropped?”
  • “Estimate each student’s true ability on this test, not just their raw percentage.”
  • “From this skill history, who is at risk of failing, and what has each person actually mastered?”

Support

來源:servers/assessment-intelligence/README.md,提交 f5c0037

工具

0
該伺服器需要登入,因此 SourceWeft 無法在沒有帳號的情況下讀取其工具,也未收錄。已連接帳號所能看到的內容可能因帳號及其權限而異。

版本歷史

2
  1. v1.0.1最新Oct 29, 2026
  2. v1.0.0Oct 22, 2026

評分

已滿足適用檢查項的 85%

該評分衡量此收錄條目的完整程度,依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價,也不表示伺服器安全或目前可用:可連通性是帶日期的檢查結果,評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list,或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分

其他 Saifs 整合