> ## Documentation Index
> Fetch the complete documentation index at: https://docs.aihubmix.com/llms.txt
> Use this file to discover all available pages before exploring further.

# AIHubMix Fidelitas Standard v2.0

> 了解 AIHubMix Fidelitas Standard 的四项评分维度、总分公式、原生能力与接口兼容性判定、响应速度与缓存测量，以及题集来源和统计边界。

AIHubMix Fidelitas 以同一模型在不同模型推理厂商服务中的交付表现为测量对象，分别评估任务结果正确性、功能可用性、响应性能及首次请求完成情况。总分与四项维度分共同呈现，用于在规定测试条件下比较同一模型的服务表现。

本文采用 **AIHubMix Fidelitas Standard v2.0**，项目版本为 **AF v2.0**。主分使用按厂商文档配置的功能支持与缓存测量结果；接口兼容性及默认配置下的缓存结果分别作为诊断指标报告。

## 评分范围与阅读方式

| 评分项 | 代号 | 权重 | 测量内容 |
| - | - | - | - |
| 回答质量 | Q（Quality） | 35% | 工具调用、知识与推理、长文理解任务的结果正确性 |
| 功能支持 | F（Functionality） | 25% | 流式传输、工具、结构化输出、参数、上下文、错误响应及用量计量的功能可用性 |
| 响应速度 | P（Performance） | 20% | 首个正文响应延迟、生成速率、并发有效吞吐及缓存有效命中情况 |
| 服务稳定 | R（Reliability） | 20% | 固定请求集合在首次执行时有效完成的比例 |

**独立评分对象为“模型推理厂商 × 模型版本”**，即某家模型推理厂商提供的某一模型版本的服务。每个对象在指定测评批次和配置下形成一组四维分数及总分。

思考模式、请求参数、账号服务等级、测试地区及观察时段属于测量条件，随结果记录。不同条件下的结果分别标注，不直接合并。模型版本、地区或服务等级无法核验时，注明相应的未验证状态，不推定为已确认。

测评通过 AIHubMix API 执行，结果描述该接入方式下的实际观测表现。官方参考服务也通过 AIHubMix API 测量，不作为独立直连官方 API 的测量结果。

同一比较组采用相同题集、轮次、超时、请求预算、失败计分及统计方法。厂商文档规定的必要请求字段、流式结构和用量字段由接入适配层（adapter）处理，测量目标保持一致。本方法不用于跨模型智能能力排名，模型推理厂商身份不构成加分依据。

### 分数状态

| 状态 | 含义 |
| - | - |
| 正式 | 已按相应标准完成测试登记、采样、判分及证据核验 |
| 参考结果（PROVISIONAL） | 可形成计算结果，但采样、判分、适配登记或证据存在适用限制 |
| 不可用（UNAVAILABLE） | 必要判分、分母或参考缺失，不赋予数值 |
| 不可比较 | 模型配置、观测条件或结果视图不一致，不纳入同口径比较 |

缺失值与 0 分分别处理。服务明确失败或未提供必需能力时，按对应规则计为失败；缺测、分母未知或证据不足时保留相应状态。任一维度不可用时，总分也标记为不可用，其权重不向其他维度重新分配。

### 结果解释

* 原始指标按计分公式换算为绝对表现 A，经过相对参考与证据合成后得到维度合成分 D。总分使用 D，不直接对原始正确率、功能通过率或服务成功率加权。
* 分数反映特定题集、负载、地区、配置及观察窗口下的表现，适用条件随结果记录。
* 展示精度不代表统计区分能力。回答质量差异结合配对统计区间解释，不能仅凭小数差异判断优劣。
* 总分为汇总索引，不作为认证，不提供置信区间。统计结论以具体维度的证据为依据。
* 服务稳定同时报告首次成功数、计划机会数及双侧 95% 区间，不能直接解释为长期 SLA。

经复核确认模型身份不符、输入被静默裁剪、敏感内容泄露、严重协议损坏或计费异常时，结果单独标记“未通过准入”，保留复现证据及使用限制。维度分与总分不抵消该限制。

## 总分与维度合成

### 总分公式

总分由四项维度合成得分加权计算。`D_Q`、`D_F`、`D_P`、`D_R` 分别表示回答质量、功能支持、响应速度、服务稳定的合成得分。

```text 总分 theme={null}
Overall = 0.35 × D_Q + 0.25 × D_F + 0.20 × D_P + 0.20 × D_R
```

四项维度合成得分均采用 0–100 分制。总分概括整体结果，四项维度分用于识别具体差异。

### 三层合成

每项维度合成得分 D 由绝对表现 A、相对官方参考 B 及证据完整度 C 加权计算。

```text 维度分 theme={null}
D = 0.65 × A + 0.20 × B + 0.15 × C
```

| 输入层 | 权重 | 定义 |
| - | - | - |
| A：绝对表现 | 65% | 按规定测试与统计方法得到的实际测量结果 |
| B：相对官方参考 | 20% | 同一维度的绝对表现相对于官方参考服务的差异 |
| C：证据完整度 | 15% | 样本覆盖、观测一致性及计量证据对本次结果的支撑程度 |

A、B、C 是计算层的符号，不表示接入等级。绝对表现使用规定公式，不将本批次最快或最高分服务设为 100，也不按批次重新归一化。

下划线前表示计算层，后表示评分维度。例如，`A_F` 为绝对表现层的功能支持得分，`D_F` 为三层合成后的功能支持得分。

主分及诊断值还使用以下配置后缀：

| 代号 | 英文全称 | 含义及用途 |
| - | - | - |
| `F_native` | Native Functionality Score | 按厂商文档配置与解析后得到的原生功能支持得分，用作主分的 `A_F` |
| `F_strict` | Strict Interface Compatibility Score | 直接按 AIHubMix 接口约定检查得到的严格兼容性得分，单列诊断 |
| `K` | Cache Hit Score | 缓存有效命中子分，计入响应速度绝对表现 |
| `K_native` | Native Cache Hit Score | 按厂商文档所需配置测量的缓存子分，用于主分 |
| `K_default` | Default-Configuration Cache Hit Score | 统一不附加会话亲和配置时测量的缓存子分，单列诊断 |

`native` 表示按厂商文档配置，`strict` 表示严格接口检查，`default` 表示本文定义的默认配置。`K` 是本方法的缓存符号，不表示 Quality。主分统一采用 `F_native` 与 `K_native`，诊断值不与主分混合使用。

### 相对官方参考 B

`A_official` 表示官方参考服务在当前维度的绝对表现得分；其相对参考分 `B_official` 固定为 50。

```text 相对参考层 theme={null}
B_official = 50
B = 50 + 50 × clip((A − A_official) / δ, −1, 1)
```

`clip(x, −1, 1)` 是限幅函数，将 x 限制在 −1 至 1。差异尺度参数 δ 按维度定义：

| 维度 | δ |
| - | - |
| 回答质量 Q | 2 |
| 功能支持 F | 15 |
| 响应速度 P | 10 |
| 服务稳定 R | 2 |

回答质量采用 5,000 次配对任务聚类 bootstrap 估计相对官方参考的差异区间。**双侧 95% 区间包含 0 时，`B_Q = 50`**；区间不包含 0 时，按上述映射计算。

官方参考服务独立接受绝对表现测量，其自身 B 固定为 50，不预设满分。不同配置、超时、时段或结果视图不具可比性时，相对层不填入推定值。

### 证据完整度 C

C 由以下五项组成，每项最高 20 分，总分 100。各项按记录中的覆盖程度及证据情况赋值，可为 20、10 或 0 分：

| 项目 | 核验内容 |
| - | - |
| 样本覆盖 | 实际有效记录与计划样本量的符合程度 |
| 窗口覆盖 | 所需时段或回答质量采集分段的完整程度 |
| 用量完整度 | 原始 `usage` 的覆盖及可核验程度 |
| 分母证据 | 题目判分、功能判定及缓存计量分母的可复核程度 |
| 协议一致性 | 请求配置、记录归属及观测协议的一致程度 |

C 衡量测量证据，不直接测量模型能力。每项赋值与证据记录关联，结果状态独立保留；证据层得分不替代必要的数据有效性核验。

## 回答质量

回答质量 Q 依据标准答案及规定判分协议，测量全部有效任务实例的正确比例。

### 题集与判分

| 方向 | 测量内容 | 题数 × 轮次 | 计划实例数 | 判分方法 |
| - | - | - | - | - |
| BFCL | 函数选择、参数填充、并行调用、无关调用抑制及三阶段工具链 | 500 × 3 | 1,500 | 基于指定版本官方 AST checker 的 Python-only JSON 匹配适配 |
| HLE | 按学科分层的高难度文本知识与推理题 | 250 × 10 | 2,500 | 答案等价性裁判，记录裁判模型、提示词及版本 |
| AA-LCR | 约 7.4 万至 11.4 万 token 的多文档综合问答 | 25 × 10 | 250 | 指定文档及标准答案，采用答案等价性判分 |
| 合计 | 775 道不同题目 | 按方向规定轮次执行 | 4,250 | 按全部有效实例汇总 |

```text 回答质量的绝对表现 theme={null}
A_Q = 100 × 正确实例数 / 有效计分实例数

完整计划分母 = 1,500 + 2,500 + 250 = 4,250
```

三个方向按实例数汇总，不对各方向正确率作等权平均。多轮工具任务可能对应多次 API 请求，任务实例数与请求数分别统计。

> [!NOTE]
>
> 本题集为 AF Suite 的派生题集，不构成 Artificial Analysis 官方的精确子集，也不复现其榜单成绩。50 个 BFCL 多轮任务基于真实题目编排，与 BFCL 官方有状态多轮执行环境分别定义。来源及版本见[数据集来源](#dataset-sources)。

### 比较条件与缺失处理

* 任务正确性依据标准答案判定，官方参考回答不作为真值。
* 各方使用相同可控预算、采样次数及语义等价参数；思考模式、工具模板或 `effort` 无法对齐时，标记“配置不可比”。
* 服务失败、超时、拒答及预算耗尽按任务失败计入分母。
* 裁判无效或缺少有效判定的记录单独标注，排除出可计算分母，并保留参考结果状态。
* 题目过滤规则在测试登记中明确，报告同时列出计划数、过滤数及实际计分数。
* 重复轮次归属于同一题目聚类，不作为新增独立题目处理。

相对差异采用分方向的配对任务聚类 bootstrap，重复 5,000 次。各方使用相同题目抽样索引，报告差异的双侧 95% 区间。区间包含 0 时，标记“未分出高下”，相对参考层取 50。

## 功能支持

功能支持 F 测量接口功能在规定配置下是否可用，不重复计入任务回答正确率。

### 功能分组与权重

| 功能组 | 权重 | 检查内容 |
| - | - | - |
| 流式与消息协议 | 20% | 流式增量、事件顺序、终止块、`finish_reason` 及 `usage` 位置 |
| 工具接口 | 20% | 工具名、schema、参数解析、并行调用、工具结果回传及错误处理 |
| 输出约束与参数 | 20% | `temperature`、`max_tokens`、`stop`、结构化输出及思考配置的实际行为 |
| 上下文与状态 | 15% | 窗口边界、超限处理、历史消息及长输入完整性 |
| 错误与恢复 | 15% | 错误码、错误体、限流及重试语义与文档约定的一致性 |
| 计量与缓存协议 | 10% | `usage` 完整性、总量自洽性及缓存计量 |

`f[组]`（Functional Group Pass Score，功能组通过得分）表示单个功能组的有效适用实例通过率。公式中的 `f流式`、`f工具`、`f约束`、`f上下文`、`f错误`、`f计量` 分别对应表中六组。

```text 功能支持的绝对表现 theme={null}
f[组] = 100 × 通过实例数 / 有效适用实例数
A_F = 0.20 × f流式 + 0.20 × f工具 + 0.20 × f约束
    + 0.15 × f上下文 + 0.15 × f错误 + 0.10 × f计量
```

每组 10 个用例，每例在 3 个窗口执行 1 次，共 60 个用例、180 个判定。用例内规定的重复请求单独记录，不改变用例分组及权重。

### 判定状态

| 状态 | 含义 | 聚合处理 |
| - | - | - |
| PASS | 全部适用检查项通过 | 计入通过及有效适用实例 |
| FAIL | 功能缺失、契约不符、值错误或非预期服务故障 | 计入有效适用实例，不计入通过 |
| NA | 模型原生不支持该能力，已有充分证据并事前登记 | 排除出适用分母 |
| UNTESTED | 未执行测试 | 必测记录不足时保留受限或不可用状态 |
| INVALID | 测试器、夹具或配置证据无效，无法归责于被测服务 | 不作为功能失败，记录有效分母及证据限制 |
| UNOBSERVED | 前序步骤中断，未形成后续观测 | 不记通过，保留观测缺失状态 |

原生能力分按有效适用记录计算。存在 INVALID 或 UNOBSERVED 时，同时披露覆盖与分母限制；必要检查缺少证据时，严格兼容性分不可用。模型原生支持但服务未提供的能力记为 FAIL，不能归入 NA。

### 原生能力与接口兼容性

| 指标 | 英文全称与中文含义 | 检查依据 | 用途 |
| - | - | - | - |
| `F_native` | Native Functionality Score，原生功能支持得分 | 按厂商文档解释字段、流式结构及必要请求配置，核验功能存在且语义正确 | 作为主分的 `A_F` |
| `F_strict` | Strict Interface Compatibility Score，严格接口兼容性得分 | 直接按 AIHubMix 接口约定检查字段、事件结构及返回行为 | 单列接口兼容性诊断 |

字段存在且位置或命名符合厂商文档时，原生能力检查按其实际结构解析。字段完全缺失、数值错误或相互矛盾时，按实际检查结果判定。适配层保留原始字段和映射依据，不将未知值推定为功能通过。

`F_native` 与 `F_strict` 分别报告，不能在同一比较表的主分中交替选用。缓存有效命中比例计入[响应速度](#speed)，账单准确性单独核验。

## 响应速度

响应速度 P 由正文响应性能与缓存有效命中共同构成。主分使用 `K_native`。

### 负载与采样

非思考档 I（Non-thinking Profile，非思考负载档）与思考档 T（Thinking Profile，思考负载档）分别测量和报告。I、T 是负载档标识；I 档要求模型原生支持非思考模式，T 档记录 `effort`、思考预算及输出预算。

C1（Concurrency 1，单并发）与 C10（Concurrency 10，10 并发）表示同时执行的请求数。此处 C 表示 Concurrency，与证据完整度层 C 分别使用。

| 配置项 | 测量约定 |
| - | - |
| 输入 | 10,000 ± 2% token，以 `o200k_base` 计量；输入起始位置加入唯一前缀，控制非预期缓存命中 |
| 输出 | 1,000 至 1,200 个正文 token，包含固定核验点 |
| 超时 | 300 秒，同一比较组一致 |
| 单并发 C1 | 90 次，3 窗 × 30 |
| 10 并发 C10 | 90 次，3 窗 × 30 |
| 缓存子测 | 30 次，3 窗 × 8k/32k 两档 × 5 次 |
| 隔离 | 回答质量与响应速度分别执行，响应速度使用独立测量时段 |

并发测试采用闭环补充机制，每完成一个请求补发一个请求。C10 表示该负载下的观测结果，不构成完整容量曲线。

### 计时与有效输出

| 指标 | 英文全称 | 定义及用途 |
| - | - | - |
| 计时起点 | Measurement Start Time | 预建连接完成后，正式请求开始写入的时刻；连接冷启动耗时另行记录 |
| TTFT | Time to First Token | 首个实际推理、正文或工具参数载荷的等待时间；空角色及心跳事件不计入，作为原始指标 |
| TTFA | Time to First Answer | 首个非空最终正文片段的等待时间，包含此前的思考耗时，用于延迟计分 |
| TPOT | Time per Output Token | 正文生成阶段的平均每 token 耗时，依据首尾正文片段时间及对应 token 数计算 |
| goodput | Valid-Output Throughput | C10 完整墙钟时间内，满足正确性及完整性要求的有效正文 token 数率 |

正文一次性整块返回时，TPOT 记为无效，不据此构造逐 token 速率。计分统计量采用包含失败处理的 P50（50th Percentile，第 50 百分位数，即中位数）；另行报告经验 P95（95th Percentile，第 95 百分位数）及窗口间波动，每档 90 次样本不支持 P99（99th Percentile，第 99 百分位数）结论。这里 P 表示 Percentile，与响应速度维度 P 分别使用。

### 计分公式

本节函数名与子分符号均为本方法的计算记号，含义如下：

| 代号 | 英文名称 | 含义 |
| - | - | - |
| `S(x; τ)` | Latency Score Function | 将等待时间 x 转换为延迟子分的函数，τ 为延迟尺度 |
| `L(x; t, k)` | Lower-is-Better Score Function | 数值越低越好的计分函数；本节用于 TPOT，t 为满分目标，k 为范围倍数 |
| `H(x; t)` | Higher-is-Better Score Function | 数值越高越好的计分函数；本节用于有效吞吐，t 为满分目标 |
| `l_ttfa` | Answer Latency Subscore | 首个正文响应延迟子分，取 C1 与 C10 两档计分结果的较小值 |
| `l_tpot` | Output Token Time Subscore | 正文每 token 耗时子分，取 C1 与 C10 两档计分结果的较小值 |
| `P_response` | Response Performance Score | 响应性能子分，由延迟、每 token 耗时与有效吞吐合成，不含缓存子分 |
| `P50_TTFA_C1`、`P50_TTFA_C10` | Median Time to First Answer at Concurrency 1 / 10 | 单并发或 10 并发下，包含失败处理的 TTFA 中位数 |
| `P50_TPOT_C1`、`P50_TPOT_C10` | Median Time per Output Token at Concurrency 1 / 10 | 单并发或 10 并发下，包含失败处理的 TPOT 中位数 |

`A_P` 是包含响应性能与缓存子分的绝对响应速度得分；`D_P` 是再经过相对参考与证据合成、参与总分的响应速度维度分。

以下 `clip` 将数值限制在 0 至 1，`ln` 为自然对数，`min` 表示取较小值，Σ 表示求和。公式中的 τ、b、c、k 在紧随公式的参数表中定义：

```text 响应速度的绝对表现 theme={null}
S(x; τ) = 100 × τ / (τ + x)
L(x; t, k) = 100 × clip[ln(k·t/x) / ln(k)]
H(x; t) = 100 × clip[ln(x / (0.05·t)) / ln(20)]

l_ttfa = min(S(P50_TTFA_C1; τ), S(P50_TTFA_C10; τ))
l_tpot = min(L(P50_TPOT_C1; b, 10), L(P50_TPOT_C10; b, 10))

goodput = Σ有效请求 min(正文 tokens, 1000) / Σ C10 窗口墙钟时长

P_response = 0.35 × l_ttfa + 0.35 × l_tpot + 0.30 × H(goodput; c)
A_P = 0.80 × P_response + 0.20 × K_native
```

| 参数 | 英文名称 | 取值 | 含义 |
| - | - | - | - |
| τ | Latency Scale | 2 秒 | 延迟子分达到 50 时的 TTFA |
| b | Target Time per Output Token | 5 ms/token | TPOT 满分目标；达到或低于该值时为 100 |
| c | Target Valid-Output Throughput | 1,200 token/s | C10 有效吞吐满分目标；达到或超过该值时为 100 |
| k | TPOT Range Multiplier | 10 | TPOT 对数映射的范围倍数 |

上述目标用于本标准规定的负载，不代表所有模型及所有工作负载的通用阈值。

| TTFA | 0 秒 | 1 秒 | 2 秒 | 4 秒 | 10 秒 |
| - | - | - | - | - | - |
| 延迟子分 | 100 | 66.7 | 50 | 33.3 | 16.7 |

### 无效输出与测量隔离

长度不符、核验点错误、循环退化、流内错误、非正常终止或截断的输出判为无效，仍计入负载及耗时。计算 P50 前应用以下处理：

* TTFA 计为正无穷，对应延迟分 0。
* TPOT 计为 `10b`，即 50 ms/token。
* goodput 的有效输出贡献为 0，时间保留在对应 C10 窗口中。
* 原始实测耗时单独保留，不由计分处理值覆盖。

同时报告有效请求数、计划数及输出有效率。性能结果包含服务失败对交付的影响，不能仅根据成功请求的延迟解释。

## 缓存命中

缓存子分 K（Cache Hit Score，缓存有效命中子分）测量应可复用前缀中实际报告为缓存读取的 token 比例。每种长度先汇总热请求的读取量和应可复用量，再对 8k、32k 两种长度等权聚合。

| 代号 | 英文全称 | 含义 |
| - | - | - |
| `K_length` | Length-Specific Cache Hit Score | 某一前缀长度档的缓存有效命中子分 |
| `K_8k` | 8k-Prefix Cache Hit Score | 约 8k token 前缀档的缓存有效命中子分 |
| `K_32k` | 32k-Prefix Cache Hit Score | 约 32k token 前缀档的缓存有效命中子分 |
| `cache_read_native_tokens` | Cache-Read Native Token Count | 热请求实际报告的缓存读取原生 token 数，不含缓存写入 |
| `expected_reusable_native_tokens` | Expected Reusable Native Token Count | 按规则应可复用的前缀原生 token 数，作为命中率分母 |

这里 `native_tokens` 表示按指定原生 tokenizer 计量的 token，与 `K_native` 中表示厂商文档配置的 `native` 分别解释。

```text 缓存命中子分 theme={null}
K_length = 100 × Σ热请求 cache_read_native_tokens
                 / Σ热请求 expected_reusable_native_tokens

K = (K_8k + K_32k) / 2
```

不同长度合并后的 token 加权命中率可作为诊断指标，不替代主分中的等权 K。

### 测试序列与分母

每组使用固定长前缀及变化的新问题，共 5 次请求：

1. 首次请求写入缓存，前缀起始位置加入独立随机标识，隔离不同测试组。
2. 第 2 至 4 次保持前缀逐字节一致，末尾使用不同的短问题，分别在上次请求完成后 5 秒、30 秒、120 秒发起。
3. 第 5 次替换为完全独立的新前缀，作为冷对照。

三窗口各覆盖约 8k、32k 两档，共 30 次请求。只有第 2 至 4 次进入热命中计分，每种长度有 9 个热请求机会。首次写入及冷对照单独核验。

分母使用登记的应可复用前缀原生 token 数，以指定 tokenizer、模板及缓存规则为依据。新问题及不可复用部分单独识别，不用全部输入 token、实际命中量或 `o200k_base` 计数替代分母。按块上报的读取量保留原值及块大小。

主分使用 **`K_native`**：按照厂商文档启用缓存所需配置，必要的会话亲和字段属于接入适配。**`K_default`** 记录统一不附加会话亲和配置时的结果，作为默认配置诊断。各家均按同一配置判定原则执行，报告保留具体配置。

### 异常与不可观测情形

| 情形 | 处理 |
| - | - |
| 应可复用分母未知 | K 不可用，不记 0 |
| 成功请求缺少缓存读取字段 | 默认记不可观测；仅在文档明确零命中省略字段、已登记且证据一致时按 0 解析 |
| 读取量超过分母或字段冲突 | 记录异常及原值，不截断至 100% |
| 冷对照成功且读取量为 0 | 可作为冷对照证据；未能完成的对照保留限制状态 |
| 热请求失败且分母可确定 | 读取量按 0 纳入，失败记录单列 |
| 模型原生支持缓存，服务未提供 | K = 0 |
| 模型原生不支持缓存且已事先定义 | 单列 No-cache 档，`A_P = P_response`，与含缓存档分别报告 |
| 不支持命中计量 | K 及 P 标记不可用，不转移缓存权重 |

`usage` 只能证实接口上报的缓存读取量。实际费用经核对后方可标记为已验证；缓存命中不等于免费，也不保证总费用降低。

## 服务稳定

服务稳定 R 测量固定请求集合的首次有效完成比例，计分不使用自动重试或跨模型推理厂商回退：

```text 服务稳定的绝对表现 theme={null}
A_R = 100 × 首次有效完成数 / 有效计划机会数

完整计划机会数 = 300
```

### 测试集合与成功条件

测试共 300 次机会，分布于 3 个窗口，每窗 100 次。每 100 次采用相同任务组合：短文本 40、约 10k 长输入 30、工具协议调用 20、带多轮历史的单次调用 10。

工具任务采用预制合法历史，保持计分分母稳定。默认单并发，请求速率在已核实的 RPM、TPM 配额内。该套件独立执行，不混入回答质量题、功能负向用例、诊断重试、预热或压力负载请求。

首次成功同时满足：

* HTTP 状态符合预期，响应结构及事件序列合法。
* 正文或工具载荷非空，正常结束。
* 无流内错误、非预期截断或必需字段缺失。
* 规定的 `usage` 字段完整，并按相应接口结构解析。
* 在 300 秒截止时间内完成。

HTTP 200 不足以单独判定成功；任务回答错误与服务失败分别统计。

### 失败、无效记录与区间

配额内的 429、服务端错误、连接失败、超时、空返回、断流及异常截断计为失败。模型推理厂商故障导致计划请求未能发出时，计入失败并记录原因。

测试环境或测试器异常标记 INVALID，不归因于被测服务，同时保留有效机会数及覆盖限制。诊断请求独立记录，不替代首次结果。

成功率报告双侧 95% Clopper–Pearson 区间。300/300 的观察成功率为 100%，区间下界约 98.78%，仍不能证明长期服务成功率为 100%。分窗口及任务类别记录失败分布和最长连续失败段。

## 测试规模与可比性

### 样本规模

以下为 AF Suite 中 AF Full 的计划规模：

| 项目 | 每家计划规模 | 构成 |
| - | - | - |
| 回答质量 | 4,250 个实例 | BFCL 1,500、HLE 2,500、AA-LCR 250 |
| 功能支持 | 180 个判定 | 60 个用例 × 3 窗口 |
| 响应速度 | 180 次请求 | C1/C10 各 90 次，分布于 3 个窗口 |
| 缓存 | 30 次请求 | 3 窗口 × 两种前缀长度 × 5 次 |
| 服务稳定 | 300 次机会 | 3 窗口 × 100 次 |

任务实例数、API 请求数与裁判请求数分别统计，多阶段工具任务及用例内重复可能对应额外请求。

### 执行条件

* 同一比较组统一题集、轮次、超时、温度、输出预算、失败处理及计分公式。
* 采用同一客户端、网络地区及连接策略，记录账号服务等级、实际起止时间和执行顺序。
* 完整测试采用 3 个窗口，窗口间隔至少 60 分钟；回答质量与响应速度分别执行。
* 模型 ID、鉴权、必要字段、流式格式、用量映射、缓存语义及 tokenizer 依据形成适配记录。
* 接入适配在采样前登记并验证，同一规则适用于所有符合条件的模型推理厂商。
* 计分主视图统一采用 `F_native` 与 `K_native`，兼容性及默认配置诊断分别报告。
* 首次执行结果持续保留，计划量、实际量、过滤、失败、无效及未观测记录分别核对。

测试在获准的配额、权限及费用范围内执行。必要条件不满足时，结果保留受限、未完成或不可用状态，不对剩余项目重新归一化。

## 数据集来源与结果记录

### 数据集来源

回答质量使用版本化派生题集，保留来源、抽样记录及完整性校验信息。AF Full 的回答质量题集包含 775 道不同题目，来源快照如下：

| 方向 | 来源快照 | 版本记录 | 许可及使用边界 |
| - | - | - | - |
| BFCL | [Berkeley Function Calling Leaderboard 数据与检查器](https://github.com/ShishirPatil/gorilla/tree/6ea57973c7a6097fd7c5915698c54c17c5b1b6c8/berkeley-function-call-leaderboard) | `6ea57973c7a6` | 来源仓库 Apache-2.0；本测评使用派生题集及检查适配 |
| HLE | [文本镜像快照](https://huggingface.co/datasets/macabdul9/hle_text_only/tree/e3e9cb5a550ec7de645fac553b0e2768d30a03ee)；[官方数据集](https://huggingface.co/datasets/cais/hle) | 镜像 `e3e9cb5a550e` | 来源记录为 MIT；未核验与官方当前版本逐字节等同 |
| AA-LCR | [Artificial Analysis AA-LCR 数据及文档快照](https://huggingface.co/datasets/ArtificialAnalysis/AA-LCR/tree/9a77ef56b717057ade24ceab4d273712a0b4f19e) | `9a77ef56b717` | 数据集仓库 Apache-2.0；引用文档的第三方权利继续归原权利人 |

BFCL 按类别配额抽样；HLE 与 AA-LCR 按分层比例抽样并保证各层最少覆盖。抽样采用指定种子及 SHA-256 排序，题集版本、过滤清单和判分协议随结果记录。

上述链接用于核验原始来源，不等同于可直接复现 AF 分数的完整测评包。受限数据不在本文重新分发，具体许可遵循相应来源。

### 结果记录与核验

供应商报告统一称为 AF Profile，记录以下测评信息：

| 记录类别 | 必要内容 |
| - | - |
| 测评身份 | 标准与题集版本、模型推理厂商、精确模型版本及官方参考服务 |
| 测量条件 | 思考配置、账号等级、地区、时段、超时、并发及性能参数 |
| 适配依据 | 文档查阅日期、必要字段、流式结构、用量解析及缓存配置 |
| 样本覆盖 | 计划数、实际数、计分分母、过滤、失败、无效及未观测项 |
| 判分依据 | 标准答案、检查器或裁判配置、判分状态及偏差评估 |
| 原始测量 | 脱敏请求与响应、事件时间、状态、终止原因及原始 `usage` |
| 聚合结果 | A/B/C 分层输入、四项 D 分、总分、维度区间及未舍入值 |
| 诊断指标 | `F_strict`、`K_default`、有效率、错误类别及对应适用限制 |

服务成功、任务正确与输出有效分别标注。负向用例不混入服务稳定分，缓存读写分别计量，估算费用与实际费用核验状态分别记录。对外展示前移除密钥、用户标识及敏感内容；数值附单位，缺失值保留状态。

## 参考数据与计算示例

以下采用 DeepSeek V4.1 Flash 1017 的五家服务结果说明计算方法。主分使用 `F_native` 与 `K_native`。数值按两位小数展示，计算以结果文件保存的中间值为准。

> [!NOTE]
>
> 本节为参考结果（PROVISIONAL）。采集与适配的事前登记证据不完整，不能作为 AIHubMix Fidelitas Standard 的正式 AF Full 结果。回答质量每家计入 4,240 个实例，另有 10 个过滤实例。HLE/AA-LCR 的裁判与被测模型同属 DeepSeek 家族，独立校准证据不足。结果限于所记录的配置与观察范围。

### 绝对表现与缓存子分

下表 Q、F、P、R 均为绝对表现 A，**不直接作为总分中的四项维度展示分**。K 为 P 中的缓存子分。

| 模型推理厂商 | A\_Q | F\_native（A\_F） | A\_P | K\_native | A\_R |
| - | - | - | - | - | - |
| 字节跳动 | 42.05 | 74.98 | 84.37 | 93.83 | 100.00 |
| 百度 | 38.00 | 88.39 | 37.77 | 68.85 | 100.00 |
| 阿里云 | 41.75 | 89.78 | 88.58 | 99.37 | 100.00 |
| DeepSeek 官方参考 | 42.45 | 94.00 | 86.14 | 98.38 | 100.00 |
| Fireworks | 41.42 | 71.78 | 79.51 | 60.68 | 100.00 |

* 五家服务稳定套件均为 300/300；其他套件的服务失败仍计入其所属维度，不能以 R 套件结果替代。
* Fireworks 的 `K_native` 使用文档规定的会话亲和配置，其余服务按各自文档要求的配置测量。
* 百度的 K 采用零命中省略字段按 0 解析的样本规则，相关事前登记证据不完整；8k 冷对照存在未完成记录，K 保留参考状态。
* DeepSeek 的 `F_strict` 因 27 条 INVALID 记录不可用；`F_native` 按有效适用记录计算。

### 功能支持的维度合成

以阿里云为例，绝对功能支持得分 `A_F = 89.777778`，官方参考的同项绝对得分为 94，差异尺度 `δ_F = 15`，证据完整度 `C_F = 100`。先计算相对参考分 `B_F`，再合成维度分 `D_F`：

```text 相对参考与功能维度分 theme={null}
B_F = 50 + 50 × clip((89.777778 − 94) / 15, −1, 1)
    ≈ 35.925926

D_F = 0.65 × 89.777778 + 0.20 × 35.925926 + 0.15 × 100
    ≈ 80.540741
```

89.78 表示原生功能绝对表现，80.54 表示参与总分计算的功能维度展示分。

### 官方参考的服务稳定分

官方参考的 R 套件为 300/300，绝对服务稳定得分 `A_R = 100`，相对参考分 `B_R = 50`，证据完整度 `C_R = 100`：

```text 服务稳定的维度合成 theme={null}
D_R = 0.65 × 100 + 0.20 × 50 + 0.15 × 100
    = 90
```

100% 是本轮服务稳定套件的观察成功率，90 是三层合成后的维度展示分。

### 维度展示分与总分

下表使用 D 值，与总分公式对应。表格沿用服务展示顺序，不按分数排列。

| 模型推理厂商 | 回答质量 D\_Q | 功能支持 D\_F | 响应速度 D\_P | 服务稳定 D\_R | 总分 |
| - | - | - | - | - | - |
| 字节跳动 | 50.83 | 62.24 | 76.57 | 88.50 | **66.37** |
| 百度 | 36.70 | 75.71 | 36.55 | 87.00 | **56.48** |
| 阿里云 | 52.13 | 80.54 | 85.01 | 90.00 | **73.38** |
| DeepSeek 官方参考 | 52.59 | 84.60 | 80.99 | 90.00 | **73.76** |
| Fireworks | 50.42 | 60.16 | 68.55 | 88.50 | **64.10** |

以官方参考为例：

```text 总分计算 theme={null}
Overall = 0.35 × 52.594340 + 0.25 × 84.600000
        + 0.20 × 80.990116 + 0.20 × 90.000000
        ≈ 73.76
```

### 独立诊断指标

| 模型推理厂商 | F\_strict | K\_default |
| - | - | - |
| 字节跳动 | 56.83 | 93.83 |
| 百度 | 66.17 | 68.85 |
| 阿里云 | 89.78 | 99.37 |
| DeepSeek 官方参考 | 不可用 | 98.38 |
| Fireworks | 71.78 | 11.06 |

`F_strict` 表达接口兼容性，`K_default` 表达统一不附加会话亲和配置时的缓存结果。两列均不替代主分输入。

回答质量相对官方参考的差异区间中，字节跳动、阿里云及 Fireworks 的 95% 区间均包含 0，相应 `B_Q = 50`。百度差异约 −4.46 个百分点，95% 区间约为 −5.78 至 −3.16 个百分点。该结论限于本次任务集合及观察条件，不延伸为总分的统计显著性结论。

## 标准与适用条件

标准标识：**AIHubMix Fidelitas Standard v2.0**。结果同时记录 AF Suite、适配配置、判分协议及测量条件。不同配置或统计口径的结果分别解释。

模型页中的四项评分为 D 值；报告中的正确率、功能通过率、延迟、缓存比例及首次成功率为相应原始指标或 A 值。总分用于汇总展示，具体接入判断以维度结果、功能要求及证据条件为依据。

相关文档：[选择模型](https://docs.aihubmix.com/cn/guides/choose-models.md) · [模型详情与比较](https://docs.aihubmix.com/cn/guides/model-details.md)

文档日期：2026-11-05


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.