スコアリングの範囲と読み方
独立した評価対象は「モデルプロバイダー × モデルバージョン」、すなわち特定のモデルプロバイダーが提供する特定のモデルバージョンのサービスです。各対象は、指定された評価バッチと構成の下で、4 次元のスコアと総合スコアのセットを形成します。
思考モード、リクエストパラメータ、アカウントのサービスティア、テスト地域、観測時間帯は測定条件に該当し、結果とともに記録します。条件が異なる結果にはそれぞれ注記し、直接統合しません。モデルバージョン、地域、サービスティアを検証できない場合は、対応する未検証状態を明記し、確認済みと推定しません。
評価は AIHubMix API を通じて実行し、結果はこの接続方式における実際の観測パフォーマンスを表します。公式リファレンスサービスも AIHubMix API を通じて測定し、公式 API に直接接続した独立の測定結果としては扱いません。
同一の比較グループでは、同じ問題セット、ラウンド、タイムアウト、リクエスト予算、失敗時のスコアリング、統計手法を使用します。プロバイダーのドキュメントが定める必須リクエストフィールド、ストリーミング構造、使用量フィールドは接続アダプタ層（adapter）で処理し、測定対象を揃えます。本手法はモデル間の知的能力のランキングには使用せず、モデルプロバイダーの属性は加点の根拠になりません。
スコアの状態
欠損値と 0 点は区別して処理します。サービスの明確な失敗または必須機能の未提供は、対応する規則に従って失敗として計上します。未測定、分母不明、またはエビデンス不足の場合は、対応する状態を保持します。いずれかの次元が利用できない場合、総合スコアも利用不可とし、その重みを他の次元に再配分しません。
結果の解釈
- 元の指標をスコアリング式に従って絶対パフォーマンス A に変換し、相対リファレンスとエビデンスの合成を経て次元合成スコア D を得ます。総合スコアには D を使用し、元の正解率、機能通過率、サービス成功率を直接重み付けすることはありません。
- スコアは特定の問題セット、負荷、地域、構成、観測ウィンドウにおけるパフォーマンスを反映し、適用条件は結果とともに記録します。
- 表示精度は統計的な識別能力を意味しません。回答品質の差はペア統計区間と合わせて解釈し、小数の差のみで優劣を判断することはできません。
- 総合スコアは集約指標であり、認証ではなく、信頼区間も提供しません。統計的な結論は、具体的な次元のエビデンスに基づきます。
- サービス安定性では、初回成功数、計画機会数、両側 95% 区間を併せて報告します。これを長期 SLA として直接解釈することはできません。
総合スコアと次元の合成
総合スコアの計算式
総合スコアは、4 つの次元合成スコアの加重計算によって求めます。D_Q、D_F、D_P、D_R は、それぞれ回答品質、機能サポート、応答速度、サービス安定性の合成スコアを表します。
総合スコア
3 層合成
各次元の合成スコア D は、絶対パフォーマンス A、公式リファレンスに対する相対評価 B、エビデンス完全性 C の加重計算によって求めます。次元スコア
A、B、C は計算層の記号であり、接続グレードを表すものではありません。絶対パフォーマンスには規定の式を使用し、当該バッチで最速または最高スコアのサービスを 100 に設定せず、バッチごとの再正規化も行いません。
アンダースコアの前は計算層、後は評価次元を表します。たとえば、
A_F は絶対パフォーマンス層の機能サポートスコア、D_F は 3 層合成後の機能サポートスコアです。
メインスコアと診断値では、次の構成接尾辞も使用します。
native はプロバイダーのドキュメントに従った構成、strict は厳格なインターフェース検査、default は本ドキュメントで定義するデフォルト構成を表します。K は本手法のキャッシュ記号であり、Quality を表すものではありません。メインスコアには F_native と K_native を統一して採用し、診断値とメインスコアは混在させません。
公式リファレンスに対する相対評価 B
A_official は公式リファレンスサービスの当該次元における絶対パフォーマンススコアを表し、その相対リファレンススコア B_official は 50 に固定します。
相対リファレンス層
clip(x, −1, 1) はクリップ関数であり、x を −1 から 1 の範囲に制限します。差分スケールパラメータ δ は次元ごとに定義します。
回答品質では、5,000 回のペアタスクによるクラスターブートストラップで、公式リファレンスに対する差分区間を推定します。両側 95% 区間が 0 を含む場合、
B_Q = 50 とし、区間が 0 を含まない場合は上記の写像に従って計算します。
公式リファレンスサービスは絶対パフォーマンスの測定を独立して受け、その B は 50 に固定し、満点を前提としません。構成、タイムアウト、時間帯、または結果ビューが異なり比較できない場合、相対リファレンス層には推定値を入力しません。
エビデンス完全性 C
C は次の 5 項目で構成され、各項目の満点は 20 点、合計は 100 点です。各項目は記録上のカバレッジとエビデンスの状況に応じて、20 点、10 点、または 0 点を付与します。
C は測定エビデンスを評価するもので、モデル能力を直接測定するものではありません。各項目の付与値はエビデンス記録に関連付け、結果状態は独立して保持します。エビデンス層のスコアは、必要なデータ有効性の検証を代替しません。
回答品質
回答品質 Q は、標準回答と規定の判定プロトコルに基づき、有効な全タスクインスタンスの正解率を測定します。問題セットと判定
回答品質の絶対パフォーマンス
本問題セットは AF Suite の派生問題セットであり、Artificial Analysis 公式の厳密なサブセットではなく、同社のリーダーボードスコアを再現するものでもありません。50 個の BFCL マルチターンタスクは実在する問題に基づいて構成しており、BFCL 公式のステートフルなマルチターン実行環境とは別に定義しています。出典とバージョンはデータセットの出典を参照してください。
比較条件と欠測の処理
- タスクの正確性は標準回答に基づいて判定し、公式リファレンスの回答は正解として扱いません。
- 各対象は同じ制御可能な予算、サンプリング回数、セマンティック等価パラメータを使用します。思考モード、ツールテンプレート、または
effortを揃えられない場合は「構成比較不能」と表示します。 - サービス失敗、タイムアウト、拒否応答、予算枯渇は、タスク失敗として分母に算入します。
- ジャッジが無効、または有効な判定を欠く記録は個別に注記し、計算可能な分母から除外したうえで、参考結果の状態を保持します。
- 問題のフィルタリング規則はテスト登録で明示し、レポートには計画数、フィルタリング数、実際のスコアリング数を併記します。
- 反復ラウンドは同一の問題クラスターに帰属し、新たな独立問題としては扱いません。
機能サポート
機能サポート F は、規定の構成でインターフェース機能が利用可能かを測定し、タスク回答の正解率には重複して算入しません。機能グループと重み
f[组]（Functional Group Pass Score、機能グループ通過スコア）は、単一機能グループの有効適用インスタンスの通過率を表します。式中の f流式、f工具、f约束、f上下文、f错误、f计量 は、表中の 6 グループにそれぞれ対応します。
機能サポートの絶対パフォーマンス
判定状態
ネイティブ機能スコアは有効適用記録に基づいて計算します。INVALID または UNOBSERVED が存在する場合は、カバレッジと分母の制限も併せて開示します。必要な検査にエビデンスがない場合、厳格な互換性スコアは利用できません。モデルがネイティブにサポートしていてもサービスが提供していない機能は FAIL として記録し、NA には分類できません。
ネイティブ機能とインターフェース互換性
フィールドが存在し、位置または命名がプロバイダーのドキュメントに適合する場合、ネイティブ機能検査はその実際の構造に従って解析します。フィールドが完全に欠落している場合、数値が誤っている場合、または相互に矛盾する場合は、実際の検査結果に従って判定します。アダプタ層は元のフィールドとマッピング根拠を保持し、未知の値を機能通過と推定しません。
F_native と F_strict は別々に報告し、同一の比較表のメインスコアで交互に選択することはできません。キャッシュの有効ヒット率は応答速度に算入し、請求の正確性は別途検証します。
応答速度
応答速度 P は、本文応答のパフォーマンスとキャッシュの有効ヒットで構成します。メインスコアにはK_native を使用します。
負荷とサンプリング
非思考プロファイル I（Non-thinking Profile、非思考負荷プロファイル）と思考プロファイル T（Thinking Profile、思考負荷プロファイル）は別々に測定・報告します。I と T は負荷プロファイルの識別子です。I プロファイルはモデルが非思考モードをネイティブにサポートすることを要求し、T プロファイルではeffort、思考予算、出力予算を記録します。
C1（Concurrency 1、同時実行数 1）と C10（Concurrency 10、同時実行数 10）は、同時に実行するリクエスト数を表します。ここでの C は Concurrency を表し、エビデンス完全性層の C とは別に使用します。
同時実行テストはクローズドループの補充方式を採用し、1 つのリクエストが完了するごとに 1 つを追加送信します。C10 は当該負荷における観測結果を表し、完全なキャパシティカーブを構成するものではありません。
計時と有効出力
本文が一度にまとめて返される場合、TPOT は無効として記録し、これに基づいてトークン単位のレートを構成しません。スコアリング統計量には、失敗処理を含む P50（50th Percentile、第 50 パーセンタイル、すなわち中央値）を使用します。実測 P95（95th Percentile、第 95 パーセンタイル）とウィンドウ間の変動は別途報告します。各段階 90 回のサンプルでは P99（99th Percentile、第 99 パーセンタイル）に関する結論は導けません。ここでの P は Percentile を表し、応答速度次元の P とは別に使用します。
スコアリング式
本節の関数名とサブスコア記号は、いずれも本手法の計算上の記号であり、意味は次のとおりです。A_P は応答パフォーマンスとキャッシュサブスコアを含む絶対応答速度スコアです。D_P は、さらに相対リファレンスとエビデンスの合成を経て、総合スコアに参加する応答速度次元スコアです。
以下の clip は数値を 0 から 1 の範囲に制限し、ln は自然対数、min は小さい方の値を取ることを表し、Σ は総和を表します。式中の τ、b、c、k は、式の直後のパラメータ表で定義します。
応答速度の絶対パフォーマンス
上記の目標は本標準が規定する負荷に対するものであり、すべてのモデルおよびすべてのワークロードに共通するしきい値を表すものではありません。
無効出力と測定の分離
長さの不一致、検証ポイントの誤り、循環的な劣化、ストリーム内エラー、異常終了、または切断された出力は無効と判定し、負荷と所要時間には引き続き算入します。P50 を計算する前に、次の処理を適用します。- TTFA は正の無限大として計上し、対応する遅延サブスコアは 0 とします。
- TPOT は
10b、すなわち 50 ms/token として計上します。 - goodput の有効出力への寄与は 0 とし、時間は対応する C10 ウィンドウに保持します。
- 元の実測所要時間は個別に保持し、スコアリング処理値で上書きしません。
キャッシュヒット
キャッシュサブスコア K（Cache Hit Score、キャッシュ有効ヒットサブスコア）は、再利用可能なプレフィックスのうち、実際にキャッシュ読み取りとして報告されたトークンの割合を測定します。長さごとにホットリクエストの読み取り量と再利用可能量を集計し、8k と 32k の 2 種類の長さを等加重で集約します。
ここでの
native_tokens は、指定されたネイティブトークナイザーで計量したトークンを表し、K_native におけるプロバイダーのドキュメントに従った構成を表す native とは別に解釈します。
キャッシュヒットサブスコア
テストシーケンスと分母
各グループは固定の長いプレフィックスと変化する新しい質問を使用し、合計 5 回のリクエストを送信します。- 初回リクエストでキャッシュに書き込み、プレフィックスの先頭位置に独立したランダム識別子を追加して、異なるテストグループを分離します。
- 2 回目から 4 回目はプレフィックスをバイト単位で一致させ、末尾には異なる短い質問を使用し、前回のリクエスト完了からそれぞれ 5 秒、30 秒、120 秒後に送信します。
- 5 回目は完全に独立した新しいプレフィックスに置き換え、コールドコントロールとします。
o200k_base のカウントで分母を代替しません。ブロック単位で報告された読み取り量は、元の値とブロックサイズを保持します。
メインスコアには K_native を使用します。これはプロバイダーのドキュメントに従ってキャッシュを有効にするために必要な構成を使用し、必要なセッションアフィニティフィールドは接続アダプテーションに含めます。K_default は、セッションアフィニティ構成を一律に付加しない場合の結果を記録し、デフォルト構成の診断として扱います。各社は同一の構成判定原則に従って実行し、レポートには具体的な構成を保持します。
異常と観測不能な状況
usage はインターフェースが報告するキャッシュ読み取り量を確認できるのみです。実際のコストは照合後にのみ検証済みと表示できます。キャッシュヒットは無料を意味せず、合計コストの低減も保証しません。
サービス安定性
サービス安定性 R は、固定リクエストセットの初回有効完了率を測定し、スコアリングでは自動リトライやモデルプロバイダー間のフォールバックを使用しません。サービス安定性の絶対パフォーマンス
テストセットと成功条件
テストは合計 300 回の試行機会で、3 つのウィンドウに分散し、各ウィンドウ 100 回です。各 100 回は同じタスク構成を使用します。短いテキスト 40、約 10k の長入力 30、ツールプロトコル呼び出し 20、マルチターン履歴付きの単一呼び出し 10 です。 ツールタスクには事前に用意した有効な履歴を使用し、スコアリング分母を安定させます。デフォルトは単一同時実行とし、リクエストレートは検証済みの RPM、TPM クォータ内に収めます。本スイートは独立して実行し、回答品質の問題、機能のネガティブテストケース、診断リトライ、ウォームアップ、負荷テストのリクエストを混入させません。 初回成功の条件は、次のすべてを満たすことです。- HTTP ステータスが想定どおりで、応答構造とイベントシーケンスが有効であること。
- 本文またはツールペイロードが空でなく、正常に終了していること。
- ストリーム内エラー、想定外の切断、必須フィールドの欠落がないこと。
- 規定の
usageフィールドが完全で、対応するインターフェース構造に従って解析できること。 - 300 秒の期限内に完了していること。
失敗、無効記録、区間
クォータ内の 429、サーバーエラー、接続失敗、タイムアウト、空の応答、ストリーム切断、異常な切断は失敗として計上します。モデルプロバイダーの障害により計画されたリクエストを送信できなかった場合も、失敗として計上し、原因を記録します。 テスト環境またはテスターの異常は INVALID と表示し、被測定サービスに帰責せず、有効機会数とカバレッジの制限を保持します。診断リクエストは独立して記録し、初回結果を代替しません。 成功率は両側 95% Clopper–Pearson 区間で報告します。300/300 の観測成功率は 100%、区間の下限は約 98.78% ですが、長期的なサービス成功率が 100% であることを証明するものではありません。ウィンドウ別およびタスクカテゴリ別に、失敗の分布と最長の連続失敗区間を記録します。テスト規模と比較可能性
サンプル規模
以下は AF Suite における AF Full の計画規模です。
タスクインスタンス数、API リクエスト数、ジャッジリクエスト数は別々に集計します。多段階のツールタスクとテストケース内の反復は、追加のリクエストに対応する場合があります。
実行条件
- 同一の比較グループでは、問題セット、ラウンド、タイムアウト、温度、出力予算、失敗処理、スコアリング式を統一します。
- 同一のクライアント、ネットワーク地域、接続ポリシーを採用し、アカウントのサービスティア、実際の開始・終了時刻、実行順序を記録します。
- 完全なテストでは 3 つのウィンドウを使用し、ウィンドウ間の間隔は少なくとも 60 分とします。回答品質と応答速度は別々に実行します。
- モデル ID、認証、必須フィールド、ストリーミング形式、使用量マッピング、キャッシュのセマンティクス、トークナイザーの根拠をアダプテーション記録としてまとめます。
- 接続アダプテーションはサンプリング前に登録して検証し、同一の規則を条件を満たすすべてのモデルプロバイダーに適用します。
- スコアリングのメインビューでは
F_nativeとK_nativeを統一して採用し、互換性とデフォルト構成の診断は別々に報告します。 - 初回実行の結果は継続的に保持し、計画量、実績量、フィルタリング、失敗、無効、未観測の記録を別々に照合します。
データセットの出典と結果記録
データセットの出典
回答品質ではバージョン管理された派生問題セットを使用し、出典、サンプリング記録、完全性検証の情報を保持します。AF Full の回答品質問題セットには 775 問の異なる問題が含まれます。出典スナップショットは次のとおりです。
BFCL はカテゴリ別のクォータでサンプリングします。HLE と AA-LCR は層化比例サンプリングを行い、各層の最小カバレッジを確保します。サンプリングには指定されたシードと SHA-256 によるソートを使用し、問題セットのバージョン、フィルタリングリスト、判定プロトコルを結果とともに記録します。
上記のリンクは元の出典を検証するためのものであり、AF スコアを直接再現できる完全な評価パッケージを示すものではありません。制限付きデータは本ドキュメントでは再配布せず、具体的なライセンスは各出典に従います。
結果記録と検証
プロバイダーレポートは AF Profile と総称し、次の評価情報を記録します。
サービスの成功、タスクの正解、出力の有効性は別々に表示します。ネガティブテストケースはサービス安定性スコアに混入せず、キャッシュの読み取りと書き込みは別々に計量し、推定コストと実際のコストの検証状態は別々に記録します。外部に公開する前に API キー、ユーザー識別子、機密性の高いコンテンツを削除します。数値には単位を付し、欠損値は状態を保持します。
参考データと計算例
以下では、DeepSeek V4.1 Flash 1017 の 5 社のサービス結果を用いて計算方法を説明します。メインスコアにはF_native と K_native を使用します。数値は小数第 2 位まで表示し、計算には結果ファイルに保存された中間値を使用します。
本節は参考結果（PROVISIONAL）です。収集とアダプテーションの事前登録エビデンスが不完全であり、AIHubMix Fidelitas Standard の正式な AF Full 結果としては扱えません。回答品質では各社 4,240 インスタンスを算入し、別に 10 個のフィルタリング済みインスタンスがあります。HLE/AA-LCR のジャッジと被測定モデルは同じ DeepSeek ファミリーに属し、独立したキャリブレーションのエビデンスが不足しています。結果は記録された構成と観測範囲に限定されます。
絶対パフォーマンスとキャッシュサブスコア
下表の Q、F、P、R はいずれも絶対パフォーマンス A であり、総合スコアにおける 4 つの次元表示スコアとして直接用いるものではありません。K は P に含まれるキャッシュサブスコアです。- 5 社のサービス安定性スイートはすべて 300/300 です。他のスイートのサービス失敗は引き続き所属する次元に算入され、R スイートの結果で代替することはできません。
- Fireworks の
K_nativeはドキュメントで規定されたセッションアフィニティ構成を使用し、その他のサービスは各ドキュメントが要求する構成で測定しています。 - Baidu の K は、ゼロヒット時にフィールドを省略する場合に 0 として解析するサンプルに関する規則を採用していますが、関連する事前登録エビデンスは不完全です。8k のコールドコントロールに未完了の記録があるため、K は参考状態を保持します。
- DeepSeek の
F_strictは 27 件の INVALID 記録により利用できません。F_nativeは有効適用記録に基づいて計算します。
機能サポートの次元合成
Alibaba Cloud を例に説明します。絶対機能サポートスコアはA_F = 89.777778、公式リファレンスの同項目における絶対スコアは 94、差分スケールは δ_F = 15、エビデンス完全性は C_F = 100 です。まず相対リファレンススコア B_F を計算し、次に次元スコア D_F を合成します。
相対リファレンスと機能次元スコア
公式リファレンスのサービス安定性スコア
公式リファレンスの R スイートは 300/300 で、絶対サービス安定性スコアはA_R = 100、相対リファレンススコアは B_R = 50、エビデンス完全性は C_R = 100 です。
サービス安定性の次元合成
次元表示スコアと総合スコア
下表は D 値を使用し、総合スコアの式に対応しています。表はサービスの表示順に従い、スコア順には並べていません。
公式リファレンスを例にします。
総合スコア計算
独立した診断指標
F_strict はインターフェース互換性を表し、K_default はセッションアフィニティ構成を一律に付加しない場合のキャッシュ結果を表します。いずれの列もメインスコアの入力値を代替するものではありません。
回答品質について、公式リファレンスに対する差分区間では、ByteDance、Alibaba Cloud、Fireworks の 95% 区間がいずれも 0 を含むため、対応する B_Q = 50 とします。Baidu の差分は約 −4.46 パーセントポイント、95% 区間は約 −5.78 から −3.16 パーセントポイントです。この結論は今回のタスクセットと観測条件に限定され、総合スコアの統計的有意性に関する結論には拡張されません。