評分範圍與閱讀方式
獨立評分對象為「模型推理廠商 × 模型版本」，即某家模型推理廠商提供的某一模型版本的服務。每個對象在指定測評批次和設定下形成一組四維分數及總分。
思考模式、請求參數、帳號服務等級、測試地區及觀察時段屬於測量條件，隨結果記錄。不同條件下的結果分別標註，不直接合併。模型版本、地區或服務等級無法核驗時，註明相應的未驗證狀態，不推定為已確認。
測評透過 AIHubMix API 執行，結果描述該接入方式下的實際觀測表現。官方參考服務也透過 AIHubMix API 測量，不作為獨立直連官方 API 的測量結果。
同一比較組採用相同題集、輪次、逾時、請求預算、失敗計分及統計方法。廠商文件規定的必要請求欄位、串流結構和用量欄位由接入適配層（adapter）處理，測量目標保持一致。本方法不用於跨模型智慧能力排名，模型推理廠商身分不構成加分依據。
分數狀態
缺失值與 0 分分別處理。服務明確失敗或未提供必需能力時，按對應規則計為失敗；缺測、分母未知或證據不足時保留相應狀態。任一維度不可用時，總分也標記為不可用，其權重不向其他維度重新分配。
結果解釋
- 原始指標按計分公式換算為絕對表現 A，經過相對參考與證據合成後得到維度合成得分 D。總分使用 D，不直接對原始正確率、功能通過率或服務成功率加權。
- 分數反映特定題集、負載、地區、設定及觀察窗口下的表現，適用條件隨結果記錄。
- 展示精度不代表統計區分能力。回答品質差異結合配對統計區間解釋，不能僅憑小數差異判斷優劣。
- 總分為彙總索引，不作為認證，不提供信賴區間。統計結論以具體維度的證據為依據。
- 服務穩定同時報告首次成功數、計畫機會數及雙側 95% 區間，不能直接解釋為長期 SLA。
總分與維度合成
總分公式
總分由四項維度合成得分加權計算。D_Q、D_F、D_P、D_R 分別表示回答品質、功能支援、回應速度、服務穩定的合成得分。
總分
三層合成
每項維度合成得分 D 由絕對表現 A、相對官方參考 B 及證據完整度 C 加權計算。維度分
A、B、C 是計算層的符號，不表示接入等級。絕對表現使用規定公式，不將本批次最快或最高分服務設為 100，也不按批次重新正規化。
下劃線前表示計算層，後表示評分維度。例如，
A_F 為絕對表現層的功能支援得分，D_F 為三層合成後的功能支援得分。
主分及診斷值還使用以下設定後綴：
native 表示按廠商文件設定，strict 表示嚴格介面檢查，default 表示本文定義的預設設定。K 是本方法的快取符號，不表示 Quality。主分統一採用 F_native 與 K_native，診斷值不與主分混合使用。
相對官方參考 B
A_official 表示官方參考服務在目前維度的絕對表現得分；其相對參考分 B_official 固定為 50。
相對參考層
clip(x, −1, 1) 是限幅函式，將 x 限制在 −1 至 1。差異尺度參數 δ 按維度定義：
回答品質採用 5,000 次配對任務聚類 bootstrap 估計相對官方參考的差異區間。雙側 95% 區間包含 0 時，
B_Q = 50；區間不包含 0 時，按上述映射計算。
官方參考服務獨立接受絕對表現測量，其自身 B 固定為 50，不預設滿分。不同設定、逾時、時段或結果視圖不具可比性時，相對層不填入推定值。
證據完整度 C
C 由以下五項組成，每項最高 20 分，總分 100。各項按記錄中的覆蓋程度及證據情況賦值，可為 20、10 或 0 分：
C 衡量測量證據，不直接測量模型能力。每項賦值與證據記錄關聯，結果狀態獨立保留；證據層得分不替代必要的資料有效性核驗。
回答品質
回答品質 Q 依據標準答案及規定評分協定，測量全部有效任務實例的正確比例。題集與評分
回答品質的絕對表現
本題集為 AF Suite 的衍生題集，不構成 Artificial Analysis 官方的精確子集，也不重現其榜單成績。50 個 BFCL 多輪任務基於真實題目編排，與 BFCL 官方有狀態多輪執行環境分別定義。來源及版本見資料集來源。
比較條件與缺失處理
- 任務正確性依據標準答案判定，官方參考回答不作為真值。
- 各方使用相同可控預算、取樣次數及語意等價參數；思考模式、工具範本或
effort無法對齊時，標記「設定不可比」。 - 服務失敗、逾時、拒答及預算耗盡按任務失敗計入分母。
- 裁判無效或缺少有效判定的記錄單獨標註，排除出可計算分母，並保留參考結果狀態。
- 題目篩選規則在測試登記中明確，報告同時列出計畫數、篩選數及實際計分數。
- 重複輪次歸屬於同一題目聚類，不作為新增獨立題目處理。
功能支援
功能支援 F 測量介面功能在規定設定下是否可用，不重複計入任務回答正確率。功能分組與權重
f[组]（Functional Group Pass Score，功能群組通過得分）表示單個功能群組的有效適用實例通過率。公式中的 f流式、f工具、f约束、f上下文、f错误、f计量 分別對應表中六組。
功能支援的絕對表現
判定狀態
原生能力分按有效適用記錄計算。存在 INVALID 或 UNOBSERVED 時，同時揭露覆蓋與分母限制；必要檢查缺少證據時，嚴格相容性分不可用。模型原生支援但服務未提供的能力記為 FAIL，不能歸入 NA。
原生能力與介面相容性
欄位存在且位置或命名符合廠商文件時，原生能力檢查按其實際結構解析。欄位完全缺失、數值錯誤或相互矛盾時，按實際檢查結果判定。適配層保留原始欄位和映射依據，不將未知值推定為功能通過。
F_native 與 F_strict 分別報告，不能在同一比較表的主分中交替選用。快取有效命中比例計入回應速度，帳單準確性單獨核驗。
回應速度
回應速度 P 由正文回應效能與快取有效命中共同構成。主分使用K_native。
負載與取樣
非思考檔 I（Non-thinking Profile，非思考負載檔）與思考檔 T（Thinking Profile，思考負載檔）分別測量和報告。I、T 是負載檔標識；I 檔要求模型原生支援非思考模式，T 檔記錄effort、思考預算及輸出預算。
C1（Concurrency 1，單併發）與 C10（Concurrency 10，10 併發）表示同時執行的請求數。此處 C 表示 Concurrency，與證據完整度層 C 分別使用。
併發測試採用閉環補充機制，每完成一個請求補發一個請求。C10 表示該負載下的觀測結果，不構成完整容量曲線。
計時與有效輸出
正文一次性整塊回傳時，TPOT 記為無效，不據此建構逐 token 速率。計分統計量採用包含失敗處理的 P50（50th Percentile，第 50 百分位數，即中位數）；另行報告經驗 P95（95th Percentile，第 95 百分位數）及窗口間波動，每檔 90 次樣本不支援 P99（99th Percentile，第 99 百分位數）結論。這裡 P 表示 Percentile，與回應速度維度 P 分別使用。
計分公式
本節函式名與子分符號均為本方法的計算記號，含義如下：A_P 是包含回應效能與快取子分的絕對回應速度得分；D_P 是再經過相對參考與證據合成、參與總分的回應速度維度分。
以下 clip 將數值限制在 0 至 1，ln 為自然對數，min 表示取較小值，Σ 表示加總。公式中的 τ、b、c、k 在緊隨公式的參數表中定義：
回應速度的絕對表現
上述目標用於本標準規定的負載，不代表所有模型及所有工作負載的通用閾值。
無效輸出與測量隔離
長度不符、核驗點錯誤、迴圈退化、串流內錯誤、非正常終止或截斷的輸出判定為無效，仍計入負載及耗時。計算 P50 前套用以下處理：- TTFA 計為正無限大，對應延遲分 0。
- TPOT 計為
10b，即 50 ms/token。 - goodput 的有效輸出貢獻為 0，時間保留在對應 C10 窗口中。
- 原始實測耗時單獨保留，不由計分處理值覆蓋。
快取命中
快取子分 K（Cache Hit Score，快取有效命中子分）測量應可重複使用前綴中實際報告為快取讀取的 token 比例。每種長度先彙總熱請求的讀取量和應可重複使用量，再對 8k、32k 兩種長度等權聚合。
這裡
native_tokens 表示按指定原生 tokenizer 計量的 token，與 K_native 中表示廠商文件設定的 native 分別解釋。
快取命中子分
測試序列與分母
每組使用固定長前綴及變化的新問題，共 5 次請求：- 首次請求寫入快取，前綴起始位置加入獨立隨機標識，隔離不同測試組。
- 第 2 至 4 次保持前綴逐位元組一致，末尾使用不同的短問題，分別在上次請求完成後 5 秒、30 秒、120 秒發起。
- 第 5 次替換為完全獨立的新前綴，作為冷對照。
o200k_base 計數替代分母。按區塊回報的讀取量保留原值及區塊大小。
主分使用 K_native：按照廠商文件啟用快取所需設定，必要的工作階段親和欄位屬於接入適配。K_default 記錄統一不附加工作階段親和設定時的結果，作為預設設定診斷。各家均按同一設定判定原則執行，報告保留具體設定。
異常與不可觀測情形
usage 只能證實介面回報的快取讀取量。實際費用經核對後方可標記為已驗證；快取命中不等於免費，也不保證總費用降低。
服務穩定
服務穩定 R 測量固定請求集合的首次有效完成比例，計分不使用自動重試或跨模型推理廠商回退：服務穩定的絕對表現
測試集合與成功條件
測試共 300 次機會，分布於 3 個窗口，每窗 100 次。每 100 次採用相同任務組合：短文本 40、約 10k 長輸入 30、工具協定呼叫 20、帶多輪歷史的單次呼叫 10。 工具任務採用預建合法歷史，保持計分分母穩定。預設單併發，請求速率在已核實的 RPM、TPM 配額內。該套件獨立執行，不混入回答品質題、功能負向用例、診斷重試、預熱或壓力負載請求。 首次成功同時滿足：- HTTP 狀態符合預期，回應結構及事件序列合法。
- 正文或工具承載內容非空，正常結束。
- 無串流內錯誤、非預期截斷或必需欄位缺失。
- 規定的
usage欄位完整，並按相應介面結構解析。 - 在 300 秒截止時間內完成。
失敗、無效記錄與區間
配額內的 429、伺服器端錯誤、連線失敗、逾時、空回傳、串流中斷及異常截斷計為失敗。模型推理廠商故障導致計畫請求未能發出時，計入失敗並記錄原因。 測試環境或測試器異常標記 INVALID，不歸因於被測服務，同時保留有效機會數及覆蓋限制。診斷請求獨立記錄，不替代首次結果。 成功率報告雙側 95% Clopper–Pearson 區間。300/300 的觀察成功率為 100%，區間下界約 98.78%，仍不能證明長期服務成功率為 100%。分窗口及任務類別記錄失敗分布和最長連續失敗段。測試規模與可比性
樣本規模
以下為 AF Suite 中 AF Full 的計畫規模：
任務實例數、API 請求數與裁判請求數分別統計，多階段工具任務及用例內重複可能對應額外請求。
執行條件
- 同一比較組統一題集、輪次、逾時、溫度、輸出預算、失敗處理及計分公式。
- 採用同一用戶端、網路地區及連線策略，記錄帳號服務等級、實際起訖時間和執行順序。
- 完整測試採用 3 個窗口，窗口間隔至少 60 分鐘；回答品質與回應速度分別執行。
- 模型 ID、身分驗證、必要欄位、串流格式、用量映射、快取語意及 tokenizer 依據形成適配記錄。
- 接入適配在取樣前登記並驗證，同一規則適用於所有符合條件的模型推理廠商。
- 計分主視圖統一採用
F_native與K_native，相容性及預設設定診斷分別報告。 - 首次執行結果持續保留，計畫量、實際量、篩選、失敗、無效及未觀測記錄分別核對。
資料集來源與結果記錄
資料集來源
回答品質使用版本化衍生題集，保留來源、抽樣記錄及完整性校驗資訊。AF Full 的回答品質題集包含 775 道不同題目，來源快照如下：
BFCL 按類別配額抽樣；HLE 與 AA-LCR 按分層比例抽樣並確保各層最低覆蓋。抽樣採用指定種子及 SHA-256 排序，題集版本、篩選清單和評分協定隨結果記錄。
上述連結用於核驗原始來源，不等同於可直接重現 AF 分數的完整測評包。受限資料不在本文重新散布，具體授權遵循相應來源。
結果記錄與核驗
供應商報告統一稱為 AF Profile，記錄以下測評資訊：
服務成功、任務正確與輸出有效分別標註。負向用例不混入服務穩定分，快取讀寫分別計量，估算費用與實際費用核驗狀態分別記錄。對外展示前移除金鑰、使用者識別資訊及敏感內容；數值附單位，缺失值保留狀態。
參考資料與計算範例
以下採用 DeepSeek V4.1 Flash 1017 的五家服務結果說明計算方法。主分使用F_native 與 K_native。數值按兩位小數展示，計算以結果檔案儲存的中間值為準。
本節為參考結果（PROVISIONAL）。擷取與適配的事前登記證據不完整，不能作為 AIHubMix Fidelitas Standard 的正式 AF Full 結果。回答品質每家計入 4,240 個實例，另有 10 個篩選實例。HLE/AA-LCR 的裁判與被測模型同屬 DeepSeek 家族，獨立校準證據不足。結果限於所記錄的設定與觀察範圍。
絕對表現與快取子分
下表 Q、F、P、R 均為絕對表現 A，不直接作為總分中的四項維度展示分。K 為 P 中的快取子分。- 五家服務穩定套件均為 300/300；其他套件的服務失敗仍計入其所屬維度，不能以 R 套件結果替代。
- Fireworks 的
K_native使用文件規定的工作階段親和設定，其餘服務按各自文件要求的設定測量。 - 百度的 K 採用零命中省略欄位按 0 解析的樣本規則，相關事前登記證據不完整；8k 冷對照存在未完成記錄，K 保留參考狀態。
- DeepSeek 的
F_strict因 27 條 INVALID 記錄不可用；F_native按有效適用記錄計算。
功能支援的維度合成
以阿里雲為例，絕對功能支援得分A_F = 89.777778，官方參考的同項絕對得分為 94，差異尺度 δ_F = 15，證據完整度 C_F = 100。先計算相對參考分 B_F，再合成維度分 D_F：
相對參考與功能維度分
官方參考的服務穩定分
官方參考的 R 套件為 300/300，絕對服務穩定得分A_R = 100，相對參考分 B_R = 50，證據完整度 C_R = 100：
服務穩定的維度合成
維度展示分與總分
下表使用 D 值，與總分公式對應。表格沿用服務展示順序，不按分數排列。
以官方參考為例：
總分計算
獨立診斷指標
F_strict 表達介面相容性，K_default 表達統一不附加工作階段親和設定時的快取結果。兩欄均不替代主分輸入。
回答品質相對官方參考的差異區間中，字節跳動、阿里雲及 Fireworks 的 95% 區間均包含 0，相應 B_Q = 50。百度差異約 −4.46 個百分點，95% 區間約為 −5.78 至 −3.16 個百分點。該結論限於本次任務集合及觀察條件，不延伸為總分的統計顯著性結論。