评分范围与阅读方式
独立评分对象为“模型推理厂商 × 模型版本”，即某家模型推理厂商提供的某一模型版本的服务。每个对象在指定测评批次和配置下形成一组四维分数及总分。
思考模式、请求参数、账号服务等级、测试地区及观察时段属于测量条件，随结果记录。不同条件下的结果分别标注，不直接合并。模型版本、地区或服务等级无法核验时，注明相应的未验证状态，不推定为已确认。
测评通过 AIHubMix API 执行，结果描述该接入方式下的实际观测表现。官方参考服务也通过 AIHubMix API 测量，不作为独立直连官方 API 的测量结果。
同一比较组采用相同题集、轮次、超时、请求预算、失败计分及统计方法。厂商文档规定的必要请求字段、流式结构和用量字段由接入适配层（adapter）处理，测量目标保持一致。本方法不用于跨模型智能能力排名，模型推理厂商身份不构成加分依据。
分数状态
缺失值与 0 分分别处理。服务明确失败或未提供必需能力时，按对应规则计为失败；缺测、分母未知或证据不足时保留相应状态。任一维度不可用时，总分也标记为不可用，其权重不向其他维度重新分配。
结果解释
- 原始指标按计分公式换算为绝对表现 A，经过相对参考与证据合成后得到维度合成分 D。总分使用 D，不直接对原始正确率、功能通过率或服务成功率加权。
- 分数反映特定题集、负载、地区、配置及观察窗口下的表现，适用条件随结果记录。
- 展示精度不代表统计区分能力。回答质量差异结合配对统计区间解释，不能仅凭小数差异判断优劣。
- 总分为汇总索引，不作为认证，不提供置信区间。统计结论以具体维度的证据为依据。
- 服务稳定同时报告首次成功数、计划机会数及双侧 95% 区间，不能直接解释为长期 SLA。
总分与维度合成
总分公式
总分由四项维度合成得分加权计算。D_Q、D_F、D_P、D_R 分别表示回答质量、功能支持、响应速度、服务稳定的合成得分。
总分
三层合成
每项维度合成得分 D 由绝对表现 A、相对官方参考 B 及证据完整度 C 加权计算。维度分
A、B、C 是计算层的符号，不表示接入等级。绝对表现使用规定公式，不将本批次最快或最高分服务设为 100，也不按批次重新归一化。
下划线前表示计算层，后表示评分维度。例如，
A_F 为绝对表现层的功能支持得分，D_F 为三层合成后的功能支持得分。
主分及诊断值还使用以下配置后缀：
native 表示按厂商文档配置，strict 表示严格接口检查，default 表示本文定义的默认配置。K 是本方法的缓存符号，不表示 Quality。主分统一采用 F_native 与 K_native，诊断值不与主分混合使用。
相对官方参考 B
A_official 表示官方参考服务在当前维度的绝对表现得分；其相对参考分 B_official 固定为 50。
相对参考层
clip(x, −1, 1) 是限幅函数，将 x 限制在 −1 至 1。差异尺度参数 δ 按维度定义：
回答质量采用 5,000 次配对任务聚类 bootstrap 估计相对官方参考的差异区间。双侧 95% 区间包含 0 时，
B_Q = 50；区间不包含 0 时，按上述映射计算。
官方参考服务独立接受绝对表现测量，其自身 B 固定为 50，不预设满分。不同配置、超时、时段或结果视图不具可比性时，相对层不填入推定值。
证据完整度 C
C 由以下五项组成，每项最高 20 分，总分 100。各项按记录中的覆盖程度及证据情况赋值，可为 20、10 或 0 分：
C 衡量测量证据，不直接测量模型能力。每项赋值与证据记录关联，结果状态独立保留；证据层得分不替代必要的数据有效性核验。
回答质量
回答质量 Q 依据标准答案及规定判分协议，测量全部有效任务实例的正确比例。题集与判分
回答质量的绝对表现
本题集为 AF Suite 的派生题集，不构成 Artificial Analysis 官方的精确子集，也不复现其榜单成绩。50 个 BFCL 多轮任务基于真实题目编排，与 BFCL 官方有状态多轮执行环境分别定义。来源及版本见数据集来源。
比较条件与缺失处理
- 任务正确性依据标准答案判定，官方参考回答不作为真值。
- 各方使用相同可控预算、采样次数及语义等价参数；思考模式、工具模板或
effort无法对齐时，标记“配置不可比”。 - 服务失败、超时、拒答及预算耗尽按任务失败计入分母。
- 裁判无效或缺少有效判定的记录单独标注，排除出可计算分母，并保留参考结果状态。
- 题目过滤规则在测试登记中明确，报告同时列出计划数、过滤数及实际计分数。
- 重复轮次归属于同一题目聚类，不作为新增独立题目处理。
功能支持
功能支持 F 测量接口功能在规定配置下是否可用，不重复计入任务回答正确率。功能分组与权重
f[组]（Functional Group Pass Score，功能组通过得分）表示单个功能组的有效适用实例通过率。公式中的 f流式、f工具、f约束、f上下文、f错误、f计量 分别对应表中六组。
功能支持的绝对表现
判定状态
原生能力分按有效适用记录计算。存在 INVALID 或 UNOBSERVED 时，同时披露覆盖与分母限制；必要检查缺少证据时，严格兼容性分不可用。模型原生支持但服务未提供的能力记为 FAIL，不能归入 NA。
原生能力与接口兼容性
字段存在且位置或命名符合厂商文档时，原生能力检查按其实际结构解析。字段完全缺失、数值错误或相互矛盾时，按实际检查结果判定。适配层保留原始字段和映射依据，不将未知值推定为功能通过。
F_native 与 F_strict 分别报告，不能在同一比较表的主分中交替选用。缓存有效命中比例计入响应速度，账单准确性单独核验。
响应速度
响应速度 P 由正文响应性能与缓存有效命中共同构成。主分使用K_native。
负载与采样
非思考档 I（Non-thinking Profile，非思考负载档）与思考档 T（Thinking Profile，思考负载档）分别测量和报告。I、T 是负载档标识；I 档要求模型原生支持非思考模式，T 档记录effort、思考预算及输出预算。
C1（Concurrency 1，单并发）与 C10（Concurrency 10，10 并发）表示同时执行的请求数。此处 C 表示 Concurrency，与证据完整度层 C 分别使用。
并发测试采用闭环补充机制，每完成一个请求补发一个请求。C10 表示该负载下的观测结果，不构成完整容量曲线。
计时与有效输出
正文一次性整块返回时，TPOT 记为无效，不据此构造逐 token 速率。计分统计量采用包含失败处理的 P50（50th Percentile，第 50 百分位数，即中位数）；另行报告经验 P95（95th Percentile，第 95 百分位数）及窗口间波动，每档 90 次样本不支持 P99（99th Percentile，第 99 百分位数）结论。这里 P 表示 Percentile，与响应速度维度 P 分别使用。
计分公式
本节函数名与子分符号均为本方法的计算记号，含义如下：A_P 是包含响应性能与缓存子分的绝对响应速度得分；D_P 是再经过相对参考与证据合成、参与总分的响应速度维度分。
以下 clip 将数值限制在 0 至 1，ln 为自然对数，min 表示取较小值，Σ 表示求和。公式中的 τ、b、c、k 在紧随公式的参数表中定义：
响应速度的绝对表现
上述目标用于本标准规定的负载，不代表所有模型及所有工作负载的通用阈值。
无效输出与测量隔离
长度不符、核验点错误、循环退化、流内错误、非正常终止或截断的输出判为无效，仍计入负载及耗时。计算 P50 前应用以下处理：- TTFA 计为正无穷，对应延迟分 0。
- TPOT 计为
10b，即 50 ms/token。 - goodput 的有效输出贡献为 0，时间保留在对应 C10 窗口中。
- 原始实测耗时单独保留，不由计分处理值覆盖。
缓存命中
缓存子分 K（Cache Hit Score，缓存有效命中子分）测量应可复用前缀中实际报告为缓存读取的 token 比例。每种长度先汇总热请求的读取量和应可复用量，再对 8k、32k 两种长度等权聚合。
这里
native_tokens 表示按指定原生 tokenizer 计量的 token，与 K_native 中表示厂商文档配置的 native 分别解释。
缓存命中子分
测试序列与分母
每组使用固定长前缀及变化的新问题，共 5 次请求：- 首次请求写入缓存，前缀起始位置加入独立随机标识，隔离不同测试组。
- 第 2 至 4 次保持前缀逐字节一致，末尾使用不同的短问题，分别在上次请求完成后 5 秒、30 秒、120 秒发起。
- 第 5 次替换为完全独立的新前缀，作为冷对照。
o200k_base 计数替代分母。按块上报的读取量保留原值及块大小。
主分使用 K_native：按照厂商文档启用缓存所需配置，必要的会话亲和字段属于接入适配。K_default 记录统一不附加会话亲和配置时的结果，作为默认配置诊断。各家均按同一配置判定原则执行，报告保留具体配置。
异常与不可观测情形
usage 只能证实接口上报的缓存读取量。实际费用经核对后方可标记为已验证；缓存命中不等于免费，也不保证总费用降低。
服务稳定
服务稳定 R 测量固定请求集合的首次有效完成比例，计分不使用自动重试或跨模型推理厂商回退：服务稳定的绝对表现
测试集合与成功条件
测试共 300 次机会，分布于 3 个窗口，每窗 100 次。每 100 次采用相同任务组合：短文本 40、约 10k 长输入 30、工具协议调用 20、带多轮历史的单次调用 10。 工具任务采用预制合法历史，保持计分分母稳定。默认单并发，请求速率在已核实的 RPM、TPM 配额内。该套件独立执行，不混入回答质量题、功能负向用例、诊断重试、预热或压力负载请求。 首次成功同时满足：- HTTP 状态符合预期，响应结构及事件序列合法。
- 正文或工具载荷非空，正常结束。
- 无流内错误、非预期截断或必需字段缺失。
- 规定的
usage字段完整，并按相应接口结构解析。 - 在 300 秒截止时间内完成。
失败、无效记录与区间
配额内的 429、服务端错误、连接失败、超时、空返回、断流及异常截断计为失败。模型推理厂商故障导致计划请求未能发出时，计入失败并记录原因。 测试环境或测试器异常标记 INVALID，不归因于被测服务，同时保留有效机会数及覆盖限制。诊断请求独立记录，不替代首次结果。 成功率报告双侧 95% Clopper–Pearson 区间。300/300 的观察成功率为 100%，区间下界约 98.78%，仍不能证明长期服务成功率为 100%。分窗口及任务类别记录失败分布和最长连续失败段。测试规模与可比性
样本规模
以下为 AF Suite 中 AF Full 的计划规模：
任务实例数、API 请求数与裁判请求数分别统计，多阶段工具任务及用例内重复可能对应额外请求。
执行条件
- 同一比较组统一题集、轮次、超时、温度、输出预算、失败处理及计分公式。
- 采用同一客户端、网络地区及连接策略，记录账号服务等级、实际起止时间和执行顺序。
- 完整测试采用 3 个窗口，窗口间隔至少 60 分钟；回答质量与响应速度分别执行。
- 模型 ID、鉴权、必要字段、流式格式、用量映射、缓存语义及 tokenizer 依据形成适配记录。
- 接入适配在采样前登记并验证，同一规则适用于所有符合条件的模型推理厂商。
- 计分主视图统一采用
F_native与K_native，兼容性及默认配置诊断分别报告。 - 首次执行结果持续保留，计划量、实际量、过滤、失败、无效及未观测记录分别核对。
数据集来源与结果记录
数据集来源
回答质量使用版本化派生题集，保留来源、抽样记录及完整性校验信息。AF Full 的回答质量题集包含 775 道不同题目，来源快照如下：
BFCL 按类别配额抽样；HLE 与 AA-LCR 按分层比例抽样并保证各层最少覆盖。抽样采用指定种子及 SHA-256 排序，题集版本、过滤清单和判分协议随结果记录。
上述链接用于核验原始来源，不等同于可直接复现 AF 分数的完整测评包。受限数据不在本文重新分发，具体许可遵循相应来源。
结果记录与核验
供应商报告统一称为 AF Profile，记录以下测评信息：
服务成功、任务正确与输出有效分别标注。负向用例不混入服务稳定分，缓存读写分别计量，估算费用与实际费用核验状态分别记录。对外展示前移除密钥、用户标识及敏感内容；数值附单位，缺失值保留状态。
参考数据与计算示例
以下采用 DeepSeek V4.1 Flash 1017 的五家服务结果说明计算方法。主分使用F_native 与 K_native。数值按两位小数展示，计算以结果文件保存的中间值为准。
本节为参考结果（PROVISIONAL）。采集与适配的事前登记证据不完整，不能作为 AIHubMix Fidelitas Standard 的正式 AF Full 结果。回答质量每家计入 4,240 个实例，另有 10 个过滤实例。HLE/AA-LCR 的裁判与被测模型同属 DeepSeek 家族，独立校准证据不足。结果限于所记录的配置与观察范围。
绝对表现与缓存子分
下表 Q、F、P、R 均为绝对表现 A，不直接作为总分中的四项维度展示分。K 为 P 中的缓存子分。- 五家服务稳定套件均为 300/300；其他套件的服务失败仍计入其所属维度，不能以 R 套件结果替代。
- Fireworks 的
K_native使用文档规定的会话亲和配置，其余服务按各自文档要求的配置测量。 - 百度的 K 采用零命中省略字段按 0 解析的样本规则，相关事前登记证据不完整；8k 冷对照存在未完成记录，K 保留参考状态。
- DeepSeek 的
F_strict因 27 条 INVALID 记录不可用；F_native按有效适用记录计算。
功能支持的维度合成
以阿里云为例，绝对功能支持得分A_F = 89.777778，官方参考的同项绝对得分为 94，差异尺度 δ_F = 15，证据完整度 C_F = 100。先计算相对参考分 B_F，再合成维度分 D_F：
相对参考与功能维度分
官方参考的服务稳定分
官方参考的 R 套件为 300/300，绝对服务稳定得分A_R = 100，相对参考分 B_R = 50，证据完整度 C_R = 100：
服务稳定的维度合成
维度展示分与总分
下表使用 D 值，与总分公式对应。表格沿用服务展示顺序，不按分数排列。
以官方参考为例：
总分计算
独立诊断指标
F_strict 表达接口兼容性，K_default 表达统一不附加会话亲和配置时的缓存结果。两列均不替代主分输入。
回答质量相对官方参考的差异区间中，字节跳动、阿里云及 Fireworks 的 95% 区间均包含 0，相应 B_Q = 50。百度差异约 −4.46 个百分点，95% 区间约为 −5.78 至 −3.16 个百分点。该结论限于本次任务集合及观察条件，不延伸为总分的统计显著性结论。