> ## Documentation Index
> Fetch the complete documentation index at: https://docs.aihubmix.com/llms.txt
> Use this file to discover all available pages before exploring further.

# AIHubMix Fidelitas Standard v2.0

> 了解 AIHubMix Fidelitas Standard 的四項評分維度、總分公式、原生能力與介面相容性判定、回應速度與快取測量，以及題集來源和統計邊界。

AIHubMix Fidelitas 以同一模型在不同模型推理廠商服務中的交付表現為測量對象，分別評估任務結果正確性、功能可用性、回應效能及首次請求完成情況。總分與四項維度分共同呈現，用於在規定測試條件下比較同一模型的服務表現。

本文採用 **AIHubMix Fidelitas Standard v2.0**，專案版本為 **AF v2.0**。主分使用按廠商文件設定的功能支援與快取測量結果；介面相容性及預設設定下的快取結果分別作為診斷指標報告。

## 評分範圍與閱讀方式

| 評分項 | 代號 | 權重 | 測量內容 |
| - | - | - | - |
| 回答品質 | Q（Quality） | 35% | 工具呼叫、知識與推理、長文理解任務的結果正確性 |
| 功能支援 | F（Functionality） | 25% | 串流傳輸、工具、結構化輸出、參數、上下文、錯誤回應及用量計量的功能可用性 |
| 回應速度 | P（Performance） | 20% | 首個正文回應延遲、生成速率、併發有效吞吐量及快取有效命中情況 |
| 服務穩定 | R（Reliability） | 20% | 固定請求集合在首次執行時有效完成的比例 |

**獨立評分對象為「模型推理廠商 × 模型版本」**，即某家模型推理廠商提供的某一模型版本的服務。每個對象在指定測評批次和設定下形成一組四維分數及總分。

思考模式、請求參數、帳號服務等級、測試地區及觀察時段屬於測量條件，隨結果記錄。不同條件下的結果分別標註，不直接合併。模型版本、地區或服務等級無法核驗時，註明相應的未驗證狀態，不推定為已確認。

測評透過 AIHubMix API 執行，結果描述該接入方式下的實際觀測表現。官方參考服務也透過 AIHubMix API 測量，不作為獨立直連官方 API 的測量結果。

同一比較組採用相同題集、輪次、逾時、請求預算、失敗計分及統計方法。廠商文件規定的必要請求欄位、串流結構和用量欄位由接入適配層（adapter）處理，測量目標保持一致。本方法不用於跨模型智慧能力排名，模型推理廠商身分不構成加分依據。

### 分數狀態

| 狀態 | 含義 |
| - | - |
| 正式 | 已按相應標準完成測試登記、取樣、評分及證據核驗 |
| 參考結果（PROVISIONAL） | 可形成計算結果，但取樣、評分、適配登記或證據存在適用限制 |
| 不可用（UNAVAILABLE） | 必要評分、分母或參考缺失，不賦予數值 |
| 不可比較 | 模型設定、觀測條件或結果視圖不一致，不納入同口徑比較 |

缺失值與 0 分分別處理。服務明確失敗或未提供必需能力時，按對應規則計為失敗；缺測、分母未知或證據不足時保留相應狀態。任一維度不可用時，總分也標記為不可用，其權重不向其他維度重新分配。

### 結果解釋

* 原始指標按計分公式換算為絕對表現 A，經過相對參考與證據合成後得到維度合成得分 D。總分使用 D，不直接對原始正確率、功能通過率或服務成功率加權。
* 分數反映特定題集、負載、地區、設定及觀察窗口下的表現，適用條件隨結果記錄。
* 展示精度不代表統計區分能力。回答品質差異結合配對統計區間解釋，不能僅憑小數差異判斷優劣。
* 總分為彙總索引，不作為認證，不提供信賴區間。統計結論以具體維度的證據為依據。
* 服務穩定同時報告首次成功數、計畫機會數及雙側 95% 區間，不能直接解釋為長期 SLA。

經複核確認模型身分不符、輸入遭未經提示裁剪、敏感內容洩漏、嚴重協定損壞或計費異常時，結果單獨標記「未通過准入」，保留重現證據及使用限制。維度分與總分不抵銷該限制。

## 總分與維度合成

### 總分公式

總分由四項維度合成得分加權計算。`D_Q`、`D_F`、`D_P`、`D_R` 分別表示回答品質、功能支援、回應速度、服務穩定的合成得分。

```text 總分 theme={null}
Overall = 0.35 × D_Q + 0.25 × D_F + 0.20 × D_P + 0.20 × D_R
```

四項維度合成得分均採用 0–100 分制。總分概括整體結果，四項維度分用於辨識具體差異。

### 三層合成

每項維度合成得分 D 由絕對表現 A、相對官方參考 B 及證據完整度 C 加權計算。

```text 維度分 theme={null}
D = 0.65 × A + 0.20 × B + 0.15 × C
```

| 輸入層 | 權重 | 定義 |
| - | - | - |
| A：絕對表現 | 65% | 按規定測試與統計方法得到的實際測量結果 |
| B：相對官方參考 | 20% | 同一維度的絕對表現相對於官方參考服務的差異 |
| C：證據完整度 | 15% | 樣本覆蓋、觀測一致性及計量證據對本次結果的支撐程度 |

A、B、C 是計算層的符號，不表示接入等級。絕對表現使用規定公式，不將本批次最快或最高分服務設為 100，也不按批次重新正規化。

下劃線前表示計算層，後表示評分維度。例如，`A_F` 為絕對表現層的功能支援得分，`D_F` 為三層合成後的功能支援得分。

主分及診斷值還使用以下設定後綴：

| 代號 | 英文全稱 | 含義及用途 |
| - | - | - |
| `F_native` | Native Functionality Score | 按廠商文件設定與解析後得到的原生功能支援得分，用作主分的 `A_F` |
| `F_strict` | Strict Interface Compatibility Score | 直接按 AIHubMix 介面約定檢查得到的嚴格相容性得分，另列診斷 |
| `K` | Cache Hit Score | 快取有效命中子分，計入回應速度絕對表現 |
| `K_native` | Native Cache Hit Score | 按廠商文件所需設定測量的快取子分，用於主分 |
| `K_default` | Default-Configuration Cache Hit Score | 統一不附加工作階段親和設定時測量的快取子分，另列診斷 |

`native` 表示按廠商文件設定，`strict` 表示嚴格介面檢查，`default` 表示本文定義的預設設定。`K` 是本方法的快取符號，不表示 Quality。主分統一採用 `F_native` 與 `K_native`，診斷值不與主分混合使用。

### 相對官方參考 B

`A_official` 表示官方參考服務在目前維度的絕對表現得分；其相對參考分 `B_official` 固定為 50。

```text 相對參考層 theme={null}
B_official = 50
B = 50 + 50 × clip((A − A_official) / δ, −1, 1)
```

`clip(x, −1, 1)` 是限幅函式，將 x 限制在 −1 至 1。差異尺度參數 δ 按維度定義：

| 維度 | δ |
| - | - |
| 回答品質 Q | 2 |
| 功能支援 F | 15 |
| 回應速度 P | 10 |
| 服務穩定 R | 2 |

回答品質採用 5,000 次配對任務聚類 bootstrap 估計相對官方參考的差異區間。**雙側 95% 區間包含 0 時，`B_Q = 50`**；區間不包含 0 時，按上述映射計算。

官方參考服務獨立接受絕對表現測量，其自身 B 固定為 50，不預設滿分。不同設定、逾時、時段或結果視圖不具可比性時，相對層不填入推定值。

### 證據完整度 C

C 由以下五項組成，每項最高 20 分，總分 100。各項按記錄中的覆蓋程度及證據情況賦值，可為 20、10 或 0 分：

| 項目 | 核驗內容 |
| - | - |
| 樣本覆蓋 | 實際有效記錄與計畫樣本量的符合程度 |
| 窗口覆蓋 | 所需時段或回答品質收集分段的完整程度 |
| 用量完整度 | 原始 `usage` 的覆蓋及可核驗程度 |
| 分母證據 | 題目評分、功能判定及快取計量分母的可複核程度 |
| 協定一致性 | 請求設定、記錄歸屬及觀測協定的一致程度 |

C 衡量測量證據，不直接測量模型能力。每項賦值與證據記錄關聯，結果狀態獨立保留；證據層得分不替代必要的資料有效性核驗。

## 回答品質

回答品質 Q 依據標準答案及規定評分協定，測量全部有效任務實例的正確比例。

### 題集與評分

| 方向 | 測量內容 | 題數 × 輪次 | 計畫實例數 | 評分方法 |
| - | - | - | - | - |
| BFCL | 函式選擇、參數填充、並行呼叫、無關呼叫抑制及三階段工具鏈 | 500 × 3 | 1,500 | 基於指定版本官方 AST checker 的 Python-only JSON 匹配適配 |
| HLE | 按學科分層的高難度文本知識與推理題 | 250 × 10 | 2,500 | 答案等價性裁判，記錄裁判模型、提示詞及版本 |
| AA-LCR | 約 7.4 萬至 11.4 萬 token 的多文件綜合問答 | 25 × 10 | 250 | 指定文件及標準答案，採用答案等價性評分 |
| 合計 | 775 道不同題目 | 按方向規定輪次執行 | 4,250 | 按全部有效實例彙總 |

```text 回答品質的絕對表現 theme={null}
A_Q = 100 × 正确实例数 / 有效计分实例数

完整计划分母 = 1,500 + 2,500 + 250 = 4,250
```

三個方向按實例數彙總，不對各方向正確率作等權平均。多輪工具任務可能對應多次 API 請求，任務實例數與請求數分別統計。

> [!NOTE]
>
> 本題集為 AF Suite 的衍生題集，不構成 Artificial Analysis 官方的精確子集，也不重現其榜單成績。50 個 BFCL 多輪任務基於真實題目編排，與 BFCL 官方有狀態多輪執行環境分別定義。來源及版本見[資料集來源](#dataset-sources)。

### 比較條件與缺失處理

* 任務正確性依據標準答案判定，官方參考回答不作為真值。
* 各方使用相同可控預算、取樣次數及語意等價參數；思考模式、工具範本或 `effort` 無法對齊時，標記「設定不可比」。
* 服務失敗、逾時、拒答及預算耗盡按任務失敗計入分母。
* 裁判無效或缺少有效判定的記錄單獨標註，排除出可計算分母，並保留參考結果狀態。
* 題目篩選規則在測試登記中明確，報告同時列出計畫數、篩選數及實際計分數。
* 重複輪次歸屬於同一題目聚類，不作為新增獨立題目處理。

相對差異採用分方向的配對任務聚類 bootstrap，重複 5,000 次。各方使用相同題目抽樣索引，報告差異的雙側 95% 區間。區間包含 0 時，標記「未分出高下」，相對參考層取 50。

## 功能支援

功能支援 F 測量介面功能在規定設定下是否可用，不重複計入任務回答正確率。

### 功能分組與權重

| 功能群組 | 權重 | 檢查內容 |
| - | - | - |
| 串流與訊息協定 | 20% | 串流增量、事件順序、終止區塊、`finish_reason` 及 `usage` 位置 |
| 工具介面 | 20% | 工具名稱、schema、參數解析、並行呼叫、工具結果回傳及錯誤處理 |
| 輸出約束與參數 | 20% | `temperature`、`max_tokens`、`stop`、結構化輸出及思考設定的實際行為 |
| 上下文與狀態 | 15% | 上下文邊界、超限處理、歷史訊息及長輸入完整性 |
| 錯誤與復原 | 15% | 錯誤碼、錯誤主體、限流及重試語意與文件約定的一致性 |
| 計量與快取協定 | 10% | `usage` 完整性、總量自洽性及快取計量 |

`f[组]`（Functional Group Pass Score，功能群組通過得分）表示單個功能群組的有效適用實例通過率。公式中的 `f流式`、`f工具`、`f约束`、`f上下文`、`f错误`、`f计量` 分別對應表中六組。

```text 功能支援的絕對表現 theme={null}
f[组] = 100 × 通过实例数 / 有效适用实例数
A_F = 0.20 × f流式 + 0.20 × f工具 + 0.20 × f约束
    + 0.15 × f上下文 + 0.15 × f错误 + 0.10 × f计量
```

每組 10 個用例，每例在 3 個窗口執行 1 次，共 60 個用例、180 個判定。用例內規定的重複請求單獨記錄，不改變用例分組及權重。

### 判定狀態

| 狀態 | 含義 | 聚合處理 |
| - | - | - |
| PASS | 全部適用檢查項通過 | 計入通過及有效適用實例 |
| FAIL | 功能缺失、契約不符、值錯誤或非預期服務故障 | 計入有效適用實例，不計入通過 |
| NA | 模型原生不支援該能力，已有充分證據並事前登記 | 排除出適用分母 |
| UNTESTED | 未執行測試 | 必測記錄不足時保留受限或不可用狀態 |
| INVALID | 測試器、夾具或設定證據無效，無法歸責於被測服務 | 不作為功能失敗，記錄有效分母及證據限制 |
| UNOBSERVED | 前序步驟中斷，未形成後續觀測 | 不記通過，保留觀測缺失狀態 |

原生能力分按有效適用記錄計算。存在 INVALID 或 UNOBSERVED 時，同時揭露覆蓋與分母限制；必要檢查缺少證據時，嚴格相容性分不可用。模型原生支援但服務未提供的能力記為 FAIL，不能歸入 NA。

### 原生能力與介面相容性

| 指標 | 英文全稱與中文含義 | 檢查依據 | 用途 |
| - | - | - | - |
| `F_native` | Native Functionality Score，原生功能支援得分 | 按廠商文件解釋欄位、串流結構及必要請求設定，核驗功能存在且語意正確 | 作為主分的 `A_F` |
| `F_strict` | Strict Interface Compatibility Score，嚴格介面相容性得分 | 直接按 AIHubMix 介面約定檢查欄位、事件結構及回傳行為 | 另列介面相容性診斷 |

欄位存在且位置或命名符合廠商文件時，原生能力檢查按其實際結構解析。欄位完全缺失、數值錯誤或相互矛盾時，按實際檢查結果判定。適配層保留原始欄位和映射依據，不將未知值推定為功能通過。

`F_native` 與 `F_strict` 分別報告，不能在同一比較表的主分中交替選用。快取有效命中比例計入[回應速度](#speed)，帳單準確性單獨核驗。

## 回應速度

回應速度 P 由正文回應效能與快取有效命中共同構成。主分使用 `K_native`。

### 負載與取樣

非思考檔 I（Non-thinking Profile，非思考負載檔）與思考檔 T（Thinking Profile，思考負載檔）分別測量和報告。I、T 是負載檔標識；I 檔要求模型原生支援非思考模式，T 檔記錄 `effort`、思考預算及輸出預算。

C1（Concurrency 1，單併發）與 C10（Concurrency 10，10 併發）表示同時執行的請求數。此處 C 表示 Concurrency，與證據完整度層 C 分別使用。

| 設定項 | 測量約定 |
| - | - |
| 輸入 | 10,000 ± 2% token，以 `o200k_base` 計量；輸入起始位置加入唯一前綴，控制非預期快取命中 |
| 輸出 | 1,000 至 1,200 個正文 token，包含固定核驗點 |
| 逾時 | 300 秒，同一比較組一致 |
| 單併發 C1 | 90 次，3 窗 × 30 |
| 10 併發 C10 | 90 次，3 窗 × 30 |
| 快取子測 | 30 次，3 窗 × 8k/32k 兩檔 × 5 次 |
| 隔離 | 回答品質與回應速度分別執行，回應速度使用獨立測量時段 |

併發測試採用閉環補充機制，每完成一個請求補發一個請求。C10 表示該負載下的觀測結果，不構成完整容量曲線。

### 計時與有效輸出

| 指標 | 英文全稱 | 定義及用途 |
| - | - | - |
| 計時起點 | Measurement Start Time | 預建連線完成後，正式請求開始寫入的時刻；連線冷啟動耗時另行記錄 |
| TTFT | Time to First Token | 首個實際推理、正文或工具參數承載內容的等待時間；空角色及心跳事件不計入，作為原始指標 |
| TTFA | Time to First Answer | 首個非空最終正文片段的等待時間，包含此前的思考耗時，用於延遲計分 |
| TPOT | Time per Output Token | 正文生成階段的平均每 token 耗時，依據首尾正文片段的時間及對應 token 數計算 |
| goodput | Valid-Output Throughput | C10 完整牆鐘時間內，滿足正確性及完整性要求的有效正文 token 數率 |

正文一次性整塊回傳時，TPOT 記為無效，不據此建構逐 token 速率。計分統計量採用包含失敗處理的 P50（50th Percentile，第 50 百分位數，即中位數）；另行報告經驗 P95（95th Percentile，第 95 百分位數）及窗口間波動，每檔 90 次樣本不支援 P99（99th Percentile，第 99 百分位數）結論。這裡 P 表示 Percentile，與回應速度維度 P 分別使用。

### 計分公式

本節函式名與子分符號均為本方法的計算記號，含義如下：

| 代號 | 英文名稱 | 含義 |
| - | - | - |
| `S(x; τ)` | Latency Score Function | 將等待時間 x 轉換為延遲子分的函式，τ 為延遲尺度 |
| `L(x; t, k)` | Lower-is-Better Score Function | 數值越低越好的計分函式；本節用於 TPOT，t 為滿分目標，k 為範圍倍數 |
| `H(x; t)` | Higher-is-Better Score Function | 數值越高越好的計分函式；本節用於有效吞吐量，t 為滿分目標 |
| `l_ttfa` | Answer Latency Subscore | 首個正文回應延遲子分，取 C1 與 C10 兩檔計分結果的較小值 |
| `l_tpot` | Output Token Time Subscore | 正文每 token 耗時子分，取 C1 與 C10 兩檔計分結果的較小值 |
| `P_response` | Response Performance Score | 回應效能子分，由延遲、每 token 耗時與有效吞吐量合成，不含快取子分 |
| `P50_TTFA_C1`、`P50_TTFA_C10` | Median Time to First Answer at Concurrency 1 / 10 | 單併發或 10 併發下，包含失敗處理的 TTFA 中位數 |
| `P50_TPOT_C1`、`P50_TPOT_C10` | Median Time per Output Token at Concurrency 1 / 10 | 單併發或 10 併發下，包含失敗處理的 TPOT 中位數 |

`A_P` 是包含回應效能與快取子分的絕對回應速度得分；`D_P` 是再經過相對參考與證據合成、參與總分的回應速度維度分。

以下 `clip` 將數值限制在 0 至 1，`ln` 為自然對數，`min` 表示取較小值，Σ 表示加總。公式中的 τ、b、c、k 在緊隨公式的參數表中定義：

```text 回應速度的絕對表現 theme={null}
S(x; τ) = 100 × τ / (τ + x)
L(x; t, k) = 100 × clip[ln(k·t/x) / ln(k)]
H(x; t) = 100 × clip[ln(x / (0.05·t)) / ln(20)]

l_ttfa = min(S(P50_TTFA_C1; τ), S(P50_TTFA_C10; τ))
l_tpot = min(L(P50_TPOT_C1; b, 10), L(P50_TPOT_C10; b, 10))

goodput = Σ有效請求 min(正文 tokens, 1000) / Σ C10 窗口牆鐘時長

P_response = 0.35 × l_ttfa + 0.35 × l_tpot + 0.30 × H(goodput; c)
A_P = 0.80 × P_response + 0.20 × K_native
```

| 參數 | 英文名稱 | 取值 | 含義 |
| - | - | - | - |
| τ | Latency Scale | 2 秒 | 延遲子分達到 50 時的 TTFA |
| b | Target Time per Output Token | 5 ms/token | TPOT 滿分目標；達到或低於該值時為 100 |
| c | Target Valid-Output Throughput | 1,200 token/s | C10 有效吞吐量滿分目標；達到或超過該值時為 100 |
| k | TPOT Range Multiplier | 10 | TPOT 對數映射的範圍倍數 |

上述目標用於本標準規定的負載，不代表所有模型及所有工作負載的通用閾值。

| TTFA | 0 秒 | 1 秒 | 2 秒 | 4 秒 | 10 秒 |
| - | - | - | - | - | - |
| 延遲子分 | 100 | 66.7 | 50 | 33.3 | 16.7 |

### 無效輸出與測量隔離

長度不符、核驗點錯誤、迴圈退化、串流內錯誤、非正常終止或截斷的輸出判定為無效，仍計入負載及耗時。計算 P50 前套用以下處理：

* TTFA 計為正無限大，對應延遲分 0。
* TPOT 計為 `10b`，即 50 ms/token。
* goodput 的有效輸出貢獻為 0，時間保留在對應 C10 窗口中。
* 原始實測耗時單獨保留，不由計分處理值覆蓋。

同時報告有效請求數、計畫數及輸出有效率。效能結果包含服務失敗對交付的影響，不能僅根據成功請求的延遲解釋。

## 快取命中

快取子分 K（Cache Hit Score，快取有效命中子分）測量應可重複使用前綴中實際報告為快取讀取的 token 比例。每種長度先彙總熱請求的讀取量和應可重複使用量，再對 8k、32k 兩種長度等權聚合。

| 代號 | 英文全稱 | 含義 |
| - | - | - |
| `K_length` | Length-Specific Cache Hit Score | 某一前綴長度檔的快取有效命中子分 |
| `K_8k` | 8k-Prefix Cache Hit Score | 約 8k token 前綴檔的快取有效命中子分 |
| `K_32k` | 32k-Prefix Cache Hit Score | 約 32k token 前綴檔的快取有效命中子分 |
| `cache_read_native_tokens` | Cache-Read Native Token Count | 熱請求實際報告的快取讀取原生 token 數，不含快取寫入 |
| `expected_reusable_native_tokens` | Expected Reusable Native Token Count | 按規則應可重複使用的前綴原生 token 數，作為命中率分母 |

這裡 `native_tokens` 表示按指定原生 tokenizer 計量的 token，與 `K_native` 中表示廠商文件設定的 `native` 分別解釋。

```text 快取命中子分 theme={null}
K_length = 100 × Σ熱請求 cache_read_native_tokens
                 / Σ熱請求 expected_reusable_native_tokens

K = (K_8k + K_32k) / 2
```

不同長度合併後的 token 加權命中率可作為診斷指標，不替代主分中的等權 K。

### 測試序列與分母

每組使用固定長前綴及變化的新問題，共 5 次請求：

1. 首次請求寫入快取，前綴起始位置加入獨立隨機標識，隔離不同測試組。
2. 第 2 至 4 次保持前綴逐位元組一致，末尾使用不同的短問題，分別在上次請求完成後 5 秒、30 秒、120 秒發起。
3. 第 5 次替換為完全獨立的新前綴，作為冷對照。

三窗口各覆蓋約 8k、32k 兩檔，共 30 次請求。只有第 2 至 4 次進入熱命中計分，每種長度有 9 個熱請求機會。首次寫入及冷對照單獨核驗。

分母使用登記的應可重複使用前綴原生 token 數，以指定 tokenizer、範本及快取規則為依據。新問題及不可重複使用部分單獨辨識，不用全部輸入 token、實際命中量或 `o200k_base` 計數替代分母。按區塊回報的讀取量保留原值及區塊大小。

主分使用 **`K_native`**：按照廠商文件啟用快取所需設定，必要的工作階段親和欄位屬於接入適配。**`K_default`** 記錄統一不附加工作階段親和設定時的結果，作為預設設定診斷。各家均按同一設定判定原則執行，報告保留具體設定。

### 異常與不可觀測情形

| 情形 | 處理 |
| - | - |
| 應可重複使用分母未知 | K 不可用，不記 0 |
| 成功請求缺少快取讀取欄位 | 預設記為不可觀測；僅在文件明確零命中省略欄位、已登記且證據一致時按 0 解析 |
| 讀取量超過分母或欄位衝突 | 記錄異常及原值，不截斷至 100% |
| 冷對照成功且讀取量為 0 | 可作為冷對照證據；未能完成的對照保留限制狀態 |
| 熱請求失敗且分母可確定 | 讀取量按 0 納入，失敗記錄另列 |
| 模型原生支援快取，服務未提供 | K = 0 |
| 模型原生不支援快取且已事先定義 | 另列 No-cache 檔，`A_P = P_response`，與含快取檔分別報告 |
| 不支援命中計量 | K 及 P 標記不可用，不轉移快取權重 |

`usage` 只能證實介面回報的快取讀取量。實際費用經核對後方可標記為已驗證；快取命中不等於免費，也不保證總費用降低。

## 服務穩定

服務穩定 R 測量固定請求集合的首次有效完成比例，計分不使用自動重試或跨模型推理廠商回退：

```text 服務穩定的絕對表現 theme={null}
A_R = 100 × 首次有效完成数 / 有效计划机会数

完整计划机会数 = 300
```

### 測試集合與成功條件

測試共 300 次機會，分布於 3 個窗口，每窗 100 次。每 100 次採用相同任務組合：短文本 40、約 10k 長輸入 30、工具協定呼叫 20、帶多輪歷史的單次呼叫 10。

工具任務採用預建合法歷史，保持計分分母穩定。預設單併發，請求速率在已核實的 RPM、TPM 配額內。該套件獨立執行，不混入回答品質題、功能負向用例、診斷重試、預熱或壓力負載請求。

首次成功同時滿足：

* HTTP 狀態符合預期，回應結構及事件序列合法。
* 正文或工具承載內容非空，正常結束。
* 無串流內錯誤、非預期截斷或必需欄位缺失。
* 規定的 `usage` 欄位完整，並按相應介面結構解析。
* 在 300 秒截止時間內完成。

HTTP 200 不足以單獨判定成功；任務回答錯誤與服務失敗分別統計。

### 失敗、無效記錄與區間

配額內的 429、伺服器端錯誤、連線失敗、逾時、空回傳、串流中斷及異常截斷計為失敗。模型推理廠商故障導致計畫請求未能發出時，計入失敗並記錄原因。

測試環境或測試器異常標記 INVALID，不歸因於被測服務，同時保留有效機會數及覆蓋限制。診斷請求獨立記錄，不替代首次結果。

成功率報告雙側 95% Clopper–Pearson 區間。300/300 的觀察成功率為 100%，區間下界約 98.78%，仍不能證明長期服務成功率為 100%。分窗口及任務類別記錄失敗分布和最長連續失敗段。

## 測試規模與可比性

### 樣本規模

以下為 AF Suite 中 AF Full 的計畫規模：

| 項目 | 每家計畫規模 | 構成 |
| - | - | - |
| 回答品質 | 4,250 個實例 | BFCL 1,500、HLE 2,500、AA-LCR 250 |
| 功能支援 | 180 個判定 | 60 個用例 × 3 窗口 |
| 回應速度 | 180 次請求 | C1/C10 各 90 次，分布於 3 個窗口 |
| 快取 | 30 次請求 | 3 窗口 × 兩種前綴長度 × 5 次 |
| 服務穩定 | 300 次機會 | 3 窗口 × 100 次 |

任務實例數、API 請求數與裁判請求數分別統計，多階段工具任務及用例內重複可能對應額外請求。

### 執行條件

* 同一比較組統一題集、輪次、逾時、溫度、輸出預算、失敗處理及計分公式。
* 採用同一用戶端、網路地區及連線策略，記錄帳號服務等級、實際起訖時間和執行順序。
* 完整測試採用 3 個窗口，窗口間隔至少 60 分鐘；回答品質與回應速度分別執行。
* 模型 ID、身分驗證、必要欄位、串流格式、用量映射、快取語意及 tokenizer 依據形成適配記錄。
* 接入適配在取樣前登記並驗證，同一規則適用於所有符合條件的模型推理廠商。
* 計分主視圖統一採用 `F_native` 與 `K_native`，相容性及預設設定診斷分別報告。
* 首次執行結果持續保留，計畫量、實際量、篩選、失敗、無效及未觀測記錄分別核對。

測試在獲准的配額、權限及費用範圍內執行。必要條件不滿足時，結果保留受限、未完成或不可用狀態，不對剩餘項目重新正規化。

## 資料集來源與結果記錄

### 資料集來源

回答品質使用版本化衍生題集，保留來源、抽樣記錄及完整性校驗資訊。AF Full 的回答品質題集包含 775 道不同題目，來源快照如下：

| 方向 | 來源快照 | 版本記錄 | 授權及使用邊界 |
| - | - | - | - |
| BFCL | [Berkeley Function Calling Leaderboard 資料與檢查器](https://github.com/ShishirPatil/gorilla/tree/6ea57973c7a6097fd7c5915698c54c17c5b1b6c8/berkeley-function-call-leaderboard) | `6ea57973c7a6` | 來源儲存庫 Apache-2.0；本測評使用衍生題集及檢查適配 |
| HLE | [文本鏡像快照](https://huggingface.co/datasets/macabdul9/hle_text_only/tree/e3e9cb5a550ec7de645fac553b0e2768d30a03ee)；[官方資料集](https://huggingface.co/datasets/cais/hle) | 鏡像 `e3e9cb5a550e` | 來源記錄為 MIT；未核驗與官方目前版本逐位元組等同 |
| AA-LCR | [Artificial Analysis AA-LCR 資料及文件快照](https://huggingface.co/datasets/ArtificialAnalysis/AA-LCR/tree/9a77ef56b717057ade24ceab4d273712a0b4f19e) | `9a77ef56b717` | 資料集儲存庫 Apache-2.0；引用文件的第三方權利繼續歸原權利人 |

BFCL 按類別配額抽樣；HLE 與 AA-LCR 按分層比例抽樣並確保各層最低覆蓋。抽樣採用指定種子及 SHA-256 排序，題集版本、篩選清單和評分協定隨結果記錄。

上述連結用於核驗原始來源，不等同於可直接重現 AF 分數的完整測評包。受限資料不在本文重新散布，具體授權遵循相應來源。

### 結果記錄與核驗

供應商報告統一稱為 AF Profile，記錄以下測評資訊：

| 記錄類別 | 必要內容 |
| - | - |
| 測評身分 | 標準與題集版本、模型推理廠商、精確模型版本及官方參考服務 |
| 測量條件 | 思考設定、帳號等級、地區、時段、逾時、併發及效能參數 |
| 適配依據 | 文件查閱日期、必要欄位、串流結構、用量解析及快取設定 |
| 樣本覆蓋 | 計畫數、實際數、計分分母、篩選、失敗、無效及未觀測項 |
| 評分依據 | 標準答案、檢查器或裁判設定、評分狀態及偏差評估 |
| 原始測量 | 去識別化請求與回應、事件時間、狀態、終止原因及原始 `usage` |
| 聚合結果 | A/B/C 分層輸入、四項 D 分、總分、維度區間及未捨入值 |
| 診斷指標 | `F_strict`、`K_default`、有效率、錯誤類別及對應適用限制 |

服務成功、任務正確與輸出有效分別標註。負向用例不混入服務穩定分，快取讀寫分別計量，估算費用與實際費用核驗狀態分別記錄。對外展示前移除金鑰、使用者識別資訊及敏感內容；數值附單位，缺失值保留狀態。

## 參考資料與計算範例

以下採用 DeepSeek V4.1 Flash 1017 的五家服務結果說明計算方法。主分使用 `F_native` 與 `K_native`。數值按兩位小數展示，計算以結果檔案儲存的中間值為準。

> [!NOTE]
>
> 本節為參考結果（PROVISIONAL）。擷取與適配的事前登記證據不完整，不能作為 AIHubMix Fidelitas Standard 的正式 AF Full 結果。回答品質每家計入 4,240 個實例，另有 10 個篩選實例。HLE/AA-LCR 的裁判與被測模型同屬 DeepSeek 家族，獨立校準證據不足。結果限於所記錄的設定與觀察範圍。

### 絕對表現與快取子分

下表 Q、F、P、R 均為絕對表現 A，**不直接作為總分中的四項維度展示分**。K 為 P 中的快取子分。

| 模型推理廠商 | A\_Q | F\_native（A\_F） | A\_P | K\_native | A\_R |
| - | - | - | - | - | - |
| 字節跳動 | 42.05 | 74.98 | 84.37 | 93.83 | 100.00 |
| 百度 | 38.00 | 88.39 | 37.77 | 68.85 | 100.00 |
| 阿里雲 | 41.75 | 89.78 | 88.58 | 99.37 | 100.00 |
| DeepSeek 官方參考 | 42.45 | 94.00 | 86.14 | 98.38 | 100.00 |
| Fireworks | 41.42 | 71.78 | 79.51 | 60.68 | 100.00 |

* 五家服務穩定套件均為 300/300；其他套件的服務失敗仍計入其所屬維度，不能以 R 套件結果替代。
* Fireworks 的 `K_native` 使用文件規定的工作階段親和設定，其餘服務按各自文件要求的設定測量。
* 百度的 K 採用零命中省略欄位按 0 解析的樣本規則，相關事前登記證據不完整；8k 冷對照存在未完成記錄，K 保留參考狀態。
* DeepSeek 的 `F_strict` 因 27 條 INVALID 記錄不可用；`F_native` 按有效適用記錄計算。

### 功能支援的維度合成

以阿里雲為例，絕對功能支援得分 `A_F = 89.777778`，官方參考的同項絕對得分為 94，差異尺度 `δ_F = 15`，證據完整度 `C_F = 100`。先計算相對參考分 `B_F`，再合成維度分 `D_F`：

```text 相對參考與功能維度分 theme={null}
B_F = 50 + 50 × clip((89.777778 − 94) / 15, −1, 1)
    ≈ 35.925926

D_F = 0.65 × 89.777778 + 0.20 × 35.925926 + 0.15 × 100
    ≈ 80.540741
```

89.78 表示原生功能絕對表現，80.54 表示參與總分計算的功能維度展示分。

### 官方參考的服務穩定分

官方參考的 R 套件為 300/300，絕對服務穩定得分 `A_R = 100`，相對參考分 `B_R = 50`，證據完整度 `C_R = 100`：

```text 服務穩定的維度合成 theme={null}
D_R = 0.65 × 100 + 0.20 × 50 + 0.15 × 100
    = 90
```

100% 是本輪服務穩定套件的觀察成功率，90 是三層合成後的維度展示分。

### 維度展示分與總分

下表使用 D 值，與總分公式對應。表格沿用服務展示順序，不按分數排列。

| 模型推理廠商 | 回答品質 D\_Q | 功能支援 D\_F | 回應速度 D\_P | 服務穩定 D\_R | 總分 |
| - | - | - | - | - | - |
| 字節跳動 | 50.83 | 62.24 | 76.57 | 88.50 | **66.37** |
| 百度 | 36.70 | 75.71 | 36.55 | 87.00 | **56.48** |
| 阿里雲 | 52.13 | 80.54 | 85.01 | 90.00 | **73.38** |
| DeepSeek 官方參考 | 52.59 | 84.60 | 80.99 | 90.00 | **73.76** |
| Fireworks | 50.42 | 60.16 | 68.55 | 88.50 | **64.10** |

以官方參考為例：

```text 總分計算 theme={null}
Overall = 0.35 × 52.594340 + 0.25 × 84.600000
        + 0.20 × 80.990116 + 0.20 × 90.000000
        ≈ 73.76
```

### 獨立診斷指標

| 模型推理廠商 | F\_strict | K\_default |
| - | - | - |
| 字節跳動 | 56.83 | 93.83 |
| 百度 | 66.17 | 68.85 |
| 阿里雲 | 89.78 | 99.37 |
| DeepSeek 官方參考 | 不可用 | 98.38 |
| Fireworks | 71.78 | 11.06 |

`F_strict` 表達介面相容性，`K_default` 表達統一不附加工作階段親和設定時的快取結果。兩欄均不替代主分輸入。

回答品質相對官方參考的差異區間中，字節跳動、阿里雲及 Fireworks 的 95% 區間均包含 0，相應 `B_Q = 50`。百度差異約 −4.46 個百分點，95% 區間約為 −5.78 至 −3.16 個百分點。該結論限於本次任務集合及觀察條件，不延伸為總分的統計顯著性結論。

## 標準與適用條件

標準標識：**AIHubMix Fidelitas Standard v2.0**。結果同時記錄 AF Suite、適配設定、評分協定及測量條件。不同設定或統計口徑的結果分別解釋。

模型頁中的四項評分為 D 值；報告中的正確率、功能通過率、延遲、快取比例及首次成功率為相應原始指標或 A 值。總分用於彙總展示，具體接入判斷以維度結果、功能要求及證據條件為依據。

相關文件：[選擇模型](https://docs.aihubmix.com/zh-Hant/guides/choose-models.md) · [模型詳情與比較](https://docs.aihubmix.com/zh-Hant/guides/model-details.md)

文件日期：2026-11-05


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.