AIHubMix Fidelitas Standard v2.0

O AIHubMix Fidelitas tem como objeto de medição o desempenho na entrega de um mesmo modelo nos serviços de diferentes provedores de modelos, avaliando separadamente a correção dos resultados das tarefas, a disponibilidade de funcionalidades, o desempenho de resposta e a conclusão da primeira requisição. A pontuação total e as quatro pontuações de dimensão são apresentadas em conjunto para comparar o desempenho do serviço do mesmo modelo sob condições de teste definidas. Este documento usa o AIHubMix Fidelitas Standard v2.0, com versão de projeto AF v2.0. A pontuação principal usa os resultados de suporte a funcionalidades e de medição de cache obtidos com a configuração indicada na documentação do provedor; a compatibilidade de interface e os resultados de cache na configuração padrão são reportados separadamente como indicadores de diagnóstico.

Escopo da pontuação e como ler os resultados

Item de pontuação	Código	Peso	Conteúdo medido
Qualidade das respostas	Q (Quality)	35%	Correção dos resultados em tarefas de chamada de ferramentas, conhecimento e raciocínio e compreensão de textos longos
Suporte a funcionalidades	F (Functionality)	25%	Disponibilidade funcional de streaming, ferramentas, saída estruturada, parâmetros, contexto, respostas de erro e medição de uso
Velocidade de resposta	P (Performance)	20%	Latência da primeira resposta de conteúdo, taxa de geração, throughput efetivo em concorrência e acertos efetivos em cache
Estabilidade do serviço	R (Reliability)	20%	Proporção de um conjunto fixo de requisições concluídas com validade na primeira execução

O objeto de pontuação independente é “provedor de modelos × versão do modelo”, ou seja, o serviço de uma versão específica de modelo oferecida por um provedor de modelos. Cada objeto forma um conjunto de pontuações nas quatro dimensões e uma pontuação total sob um lote de avaliação e uma configuração especificados. Modo de raciocínio, parâmetros da requisição, nível de serviço da conta, região de teste e período de observação são condições de medição registradas com o resultado. Resultados sob condições diferentes são marcados separadamente e não são combinados diretamente. Quando a versão do modelo, a região ou o nível de serviço não puderem ser verificados, o status de não verificação correspondente é indicado, sem presunção de confirmação. A avaliação é executada pela API da AIHubMix, e os resultados descrevem o desempenho efetivamente observado nesse modo de integração. O serviço de referência oficial também é medido pela API da AIHubMix e não é tratado como uma medição independente por conexão direta à API oficial. Um mesmo grupo de comparação usa o mesmo conjunto de questões, rodadas, tempo limite, orçamento de requisições, pontuação de falhas e método estatístico. Campos de requisição obrigatórios, estrutura de streaming e campos de uso definidos na documentação do provedor são tratados pela camada de adaptação de integração (adapter), mantendo o objetivo de medição consistente. Este método não é usado para ranking de capacidade intelectual entre modelos, e a identidade do provedor de modelos não constitui base para pontuação adicional.

Status da pontuação

Status	Significado
Oficial	Registro do teste, amostragem, pontuação e verificação de evidências concluídos conforme o padrão correspondente
Resultado de referência (PROVISIONAL)	É possível calcular um resultado, mas a amostragem, a pontuação, o registro de adaptação ou as evidências apresentam restrições de aplicação
Indisponível (UNAVAILABLE)	Pontuação necessária, denominador ou referência ausente; nenhum valor é atribuído
Não comparável	Configuração do modelo, condições de observação ou visão de resultado inconsistentes; não entra em comparação de mesmo critério

Valores ausentes e pontuações 0 são tratados separadamente. Quando o serviço falha explicitamente ou não oferece uma capacidade obrigatória, o item é contabilizado como falha conforme a regra correspondente; medições ausentes, denominadores desconhecidos ou evidências insuficientes mantêm o status correspondente. Se qualquer dimensão estiver indisponível, a pontuação total também é marcada como indisponível, e seu peso não é redistribuído entre as demais dimensões.

Interpretação dos resultados

Os indicadores brutos são convertidos em desempenho absoluto A pelas fórmulas de pontuação; após a aplicação da referência relativa e da composição de evidências, obtém-se a pontuação composta da dimensão D. A pontuação total usa D e não pondera diretamente as taxas brutas de acerto, de aprovação funcional ou de sucesso do serviço.
As pontuações refletem o desempenho em um conjunto de questões, carga, região, configuração e janela de observação específicos; as condições de aplicação acompanham o registro do resultado.
A precisão de exibição não representa capacidade de distinção estatística. As diferenças de qualidade das respostas são interpretadas com intervalos estatísticos pareados; diferenças decimais isoladas não bastam para determinar superioridade.
A pontuação total é um índice agregado, não constitui certificação e não fornece intervalo de confiança. As conclusões estatísticas se baseiam nas evidências de cada dimensão específica.
A estabilidade do serviço reporta simultaneamente o número de sucessos na primeira execução, o número de oportunidades planejadas e o intervalo bilateral de 95%, e não pode ser interpretada diretamente como SLA de longo prazo.

Após revisão, se for confirmada divergência de identidade do modelo, corte silencioso da entrada, exposição de conteúdo sensível, violação grave de protocolo ou anomalia de cobrança, o resultado é marcado separadamente como “não aprovado na verificação de admissão”, preservando as evidências de reprodução e as restrições de uso. As pontuações das dimensões e a pontuação total não compensam essa restrição.

Pontuação total e composição das dimensões

Fórmula da pontuação total

A pontuação total é calculada pela soma ponderada das pontuações compostas das quatro dimensões. D_Q, D_F, D_P e D_R representam, respectivamente, as pontuações compostas de qualidade das respostas, suporte a funcionalidades, velocidade de resposta e estabilidade do serviço.

Pontuação total

Overall = 0.35 × D_Q + 0.25 × D_F + 0.20 × D_P + 0.20 × D_R

Todas as pontuações compostas das quatro dimensões usam a escala de 0–100. A pontuação total resume o resultado geral, e as quatro pontuações de dimensão identificam diferenças específicas.

Composição em três camadas

Cada pontuação composta de dimensão D é calculada pela soma ponderada de desempenho absoluto A, referência oficial relativa B e completude das evidências C.

Pontuação da dimensão

D = 0.65 × A + 0.20 × B + 0.15 × C

Camada de entrada	Peso	Definição
A: desempenho absoluto	65%	Resultado de medição real obtido com os testes e métodos estatísticos especificados
B: referência oficial relativa	20%	Diferença do desempenho absoluto da mesma dimensão em relação ao serviço de referência oficial
C: completude das evidências	15%	Grau de sustentação do resultado por cobertura de amostras, consistência das observações e evidências de medição

A, B e C são símbolos da camada de cálculo e não indicam nível de acesso. O desempenho absoluto usa as fórmulas especificadas: o serviço mais rápido ou de maior pontuação do lote não é definido como 100, e não há renormalização por lote. O prefixo antes do sublinhado indica a camada de cálculo, e o sufixo depois dele indica a dimensão de pontuação. Por exemplo, A_F é a pontuação de suporte a funcionalidades da camada de desempenho absoluto, e D_F é a pontuação de suporte a funcionalidades após a composição em três camadas. A pontuação principal e os valores de diagnóstico também usam os seguintes sufixos de configuração:

Código	Nome completo em inglês	Significado e uso
`F_native`	Native Functionality Score	Pontuação de suporte nativo a funcionalidades obtida após configuração e interpretação conforme a documentação do provedor, usada como `A_F` da pontuação principal
`F_strict`	Strict Interface Compatibility Score	Pontuação de compatibilidade estrita obtida pela verificação direta das convenções de interface da AIHubMix, reportada como diagnóstico separado
`K`	Cache Hit Score	Subpontuação de acertos efetivos em cache, incluída no desempenho absoluto da velocidade de resposta
`K_native`	Native Cache Hit Score	Subpontuação de cache medida com a configuração exigida pela documentação do provedor, usada na pontuação principal
`K_default`	Default-Configuration Cache Hit Score	Subpontuação de cache medida de forma uniforme sem configuração de afinidade de sessão, reportada como diagnóstico separado

native indica configuração conforme a documentação do provedor, strict indica verificação estrita de interface e default indica a configuração padrão definida neste documento. K é o símbolo de cache deste método e não representa Quality. A pontuação principal usa sempre F_native e K_native; valores de diagnóstico não são combinados com a pontuação principal.

Referência oficial relativa B

A_official representa a pontuação de desempenho absoluto do serviço de referência oficial na dimensão atual; sua pontuação de referência relativa B_official é fixada em 50.

Camada de referência relativa

B_official = 50
B = 50 + 50 × clip((A − A_official) / δ, −1, 1)

clip(x, −1, 1) é uma função de limitação que restringe x ao intervalo de −1 a 1. O parâmetro de escala de diferença δ é definido por dimensão:

Dimensão	δ
Qualidade das respostas Q	2
Suporte a funcionalidades F	15
Velocidade de resposta P	10
Estabilidade do serviço R	2

A qualidade das respostas usa bootstrap de clusters de tarefas pareadas com 5,000 repetições para estimar o intervalo de diferença em relação à referência oficial. Quando o intervalo bilateral de 95% inclui 0, B_Q = 50; quando o intervalo não inclui 0, aplica-se o mapeamento acima. O serviço de referência oficial é submetido independentemente à medição de desempenho absoluto; seu próprio B é fixado em 50, sem presumir pontuação máxima. Quando configurações, tempos limite, períodos ou visões de resultado diferentes não são comparáveis, a camada relativa não recebe valores presumidos.

Completude das evidências C

C é composto pelos cinco itens a seguir, cada um com no máximo 20 pontos, totalizando 100. Cada item recebe 20, 10 ou 0 pontos conforme o grau de cobertura e as evidências registradas:

Item	Conteúdo verificado
Cobertura de amostras	Grau de correspondência entre os registros válidos efetivos e o tamanho de amostra planejado
Cobertura de janelas	Completude dos períodos necessários ou dos segmentos de coleta da qualidade das respostas
Completude do uso	Cobertura e verificabilidade do `usage` bruto
Evidências do denominador	Grau de verificação dos denominadores de pontuação de questões, de decisão funcional e de medição de cache
Consistência de protocolo	Grau de consistência da configuração da requisição, da atribuição dos registros e do protocolo de observação

C avalia as evidências de medição e não mede diretamente a capacidade do modelo. Cada atribuição de pontos está associada a um registro de evidências, e o status do resultado é preservado independentemente; a pontuação da camada de evidências não substitui as verificações necessárias de validade dos dados.

Qualidade das respostas

A qualidade das respostas Q mede a proporção de instâncias de tarefa válidas com resultado correto, com base nas respostas de referência e no protocolo de pontuação especificado.

Conjunto de questões e pontuação

Categoria	Conteúdo medido	Questões × rodadas	Instâncias planejadas	Método de pontuação
BFCL	Seleção de funções, preenchimento de parâmetros, chamadas paralelas, supressão de chamadas irrelevantes e cadeia de ferramentas em três estágios	500 × 3	1,500	Adaptação de correspondência JSON somente em Python baseada no AST checker oficial da versão especificada
HLE	Questões de conhecimento textual e raciocínio de alta dificuldade, estratificadas por disciplina	250 × 10	2,500	Juiz de equivalência de respostas, registrando modelo juiz, prompt e versão
AA-LCR	Perguntas e respostas abrangendo múltiplos documentos, com cerca de 74 mil a 114 mil tokens	25 × 10	250	Documentos especificados e respostas de referência, com pontuação por equivalência de respostas
Total	775 questões distintas	Executadas conforme as rodadas definidas por categoria	4,250	Agregado sobre todas as instâncias válidas

Desempenho absoluto da qualidade das respostas

A_Q = 100 × instâncias corretas / instâncias válidas pontuadas

Denominador do plano completo = 1,500 + 2,500 + 250 = 4,250

As três categorias são agregadas pelo número de instâncias, sem média de pesos iguais entre as taxas de acerto de cada categoria. Tarefas de ferramentas com múltiplas rodadas podem corresponder a várias requisições de API; o número de instâncias de tarefa e o número de requisições são contabilizados separadamente.

Este conjunto de questões é derivado do AF Suite, não constitui um subconjunto exato do conjunto oficial do Artificial Analysis e não reproduz os resultados de seu ranking. As 50 tarefas multirodada do BFCL são organizadas a partir de questões reais e definidas separadamente do ambiente oficial de execução multirodada com estado do BFCL. Consulte Fontes dos conjuntos de dados para origem e versão.

Condições de comparação e tratamento de ausências

A correção da tarefa é determinada com base na resposta de referência; a resposta da referência oficial não é usada como verdade fundamental.
Todas as partes usam o mesmo orçamento controlável, número de amostragens e parâmetros semanticamente equivalentes; quando o modo de raciocínio, o template de ferramentas ou effort não podem ser alinhados, marca-se “configuração não comparável”.
Falhas do serviço, tempos limite, recusas de resposta e esgotamento do orçamento são contabilizados no denominador como falha de tarefa.
Registros com juiz inválido ou sem decisão válida são marcados separadamente, excluídos do denominador computável e mantêm o status de resultado de referência.
As regras de filtragem de questões são explicitadas no registro do teste, e o relatório lista os números planejados, filtrados e efetivamente pontuados.
Rodadas repetidas pertencem ao mesmo cluster de questões e não são tratadas como novas questões independentes.

A diferença relativa usa bootstrap de clusters de tarefas pareadas por categoria, com 5,000 repetições. Todas as partes usam o mesmo índice de amostragem de questões e reportam o intervalo bilateral de 95% da diferença. Quando o intervalo inclui 0, marca-se “sem diferença conclusiva” e a camada de referência relativa assume 50.

Suporte a funcionalidades

O suporte a funcionalidades F mede se os recursos da interface estão disponíveis na configuração especificada, sem contabilizá-los novamente na taxa de acerto das respostas das tarefas.

Grupos de funcionalidades e pesos

Grupo de funcionalidades	Peso	Conteúdo verificado
Streaming e protocolo de mensagens	20%	Incrementos de streaming, ordem dos eventos, bloco de término, `finish_reason` e posição de `usage`
Interface de ferramentas	20%	Nome da ferramenta, schema, análise de parâmetros, chamadas paralelas, retorno de resultados de ferramentas e tratamento de erros
Restrições de saída e parâmetros	20%	Comportamento efetivo de `temperature`, `max_tokens`, `stop`, saída estruturada e configuração de raciocínio
Contexto e estado	15%	Limites da janela, tratamento de excesso, mensagens históricas e integridade de entradas longas
Erros e recuperação	15%	Consistência de códigos de erro, corpo do erro, limitação de taxa e semântica de novas tentativas com as convenções documentadas
Protocolo de medição e cache	10%	Integridade de `usage`, consistência dos totais e medição de cache

f[组] (Functional Group Pass Score, pontuação de aprovação do grupo funcional) representa a taxa de aprovação das instâncias válidas aplicáveis de um único grupo de funcionalidades. Na fórmula, f流式, f工具, f约束, f上下文, f错误 e f计量 correspondem aos seis grupos da tabela.

Desempenho absoluto do suporte a funcionalidades

f[组] = 100 × instâncias aprovadas / instâncias válidas aplicáveis
A_F = 0.20 × f流式 + 0.20 × f工具 + 0.20 × f约束
    + 0.15 × f上下文 + 0.15 × f错误 + 0.10 × f计量

Cada grupo tem 10 casos; cada caso é executado 1 vez em 3 janelas, totalizando 60 casos e 180 verificações. Requisições repetidas previstas dentro de um caso são registradas separadamente e não alteram o agrupamento nem os pesos dos casos.

Status de verificação

Status	Significado	Tratamento na agregação
PASS	Todos os itens de verificação aplicáveis passam	Conta como aprovado e como instância válida aplicável
FAIL	Recurso ausente, contrato não atendido, valor incorreto ou falha inesperada do serviço	Conta como instância válida aplicável e não como aprovado
NA	O modelo não oferece suporte nativo a essa capacidade, com evidência suficiente e registro prévio	Excluído do denominador aplicável
UNTESTED	Teste não executado	Mantém status restrito ou indisponível quando o registro obrigatório é insuficiente
INVALID	Testador, fixture ou evidência de configuração inválidos, sem atribuição ao serviço avaliado	Não conta como falha funcional; registra denominador válido e restrições de evidência
UNOBSERVED	Etapa anterior interrompida, sem observação subsequente	Não conta como aprovado e mantém o status de observação ausente

A pontuação de capacidade nativa é calculada com base nos registros válidos aplicáveis. Quando há registros INVALID ou UNOBSERVED, as restrições de cobertura e de denominador também são divulgadas; quando faltam evidências para verificações obrigatórias, a pontuação de compatibilidade estrita fica indisponível. Capacidades com suporte nativo no modelo e não oferecidas pelo serviço são registradas como FAIL e não podem ser classificadas como NA.

Capacidade nativa e compatibilidade de interface

Indicador	Nome completo em inglês e significado	Base da verificação	Uso
`F_native`	Native Functionality Score, pontuação de suporte nativo a funcionalidades	Interpreta campos, estrutura de streaming e configuração de requisição necessária conforme a documentação do provedor, verificando a existência e a semântica correta da funcionalidade	Usada como `A_F` da pontuação principal
`F_strict`	Strict Interface Compatibility Score, pontuação de compatibilidade estrita de interface	Verifica campos, estrutura de eventos e comportamento de retorno diretamente conforme as convenções de interface da AIHubMix	Diagnóstico de compatibilidade de interface reportado separadamente

Quando um campo existe e sua posição ou nomenclatura está de acordo com a documentação do provedor, a verificação de capacidade nativa o interpreta conforme sua estrutura real. Campos totalmente ausentes, valores incorretos ou contraditórios são julgados conforme o resultado real da verificação. A camada de adaptação preserva os campos originais e a base de mapeamento, sem presumir que valores desconhecidos indiquem funcionalidade aprovada. F_native e F_strict são reportados separadamente e não podem ser usados alternadamente na pontuação principal de uma mesma tabela de comparação. A proporção de acertos efetivos em cache entra em Velocidade de resposta, e a exatidão da cobrança é verificada separadamente.

Velocidade de resposta

A velocidade de resposta P é composta pelo desempenho de resposta do conteúdo e pelos acertos efetivos em cache. A pontuação principal usa K_native.

Carga e amostragem

O perfil sem raciocínio I (Non-thinking Profile, perfil de carga sem raciocínio) e o perfil com raciocínio T (Thinking Profile, perfil de carga com raciocínio) são medidos e reportados separadamente. I e T são identificadores de perfil de carga; o perfil I exige suporte nativo do modelo ao modo sem raciocínio, e o perfil T registra effort, orçamento de raciocínio e orçamento de saída. C1 (Concurrency 1, concorrência 1) e C10 (Concurrency 10, concorrência 10) indicam o número de requisições executadas simultaneamente. Aqui, C indica Concurrency e é usado separadamente da camada C de completude das evidências.

Item de configuração	Convenção de medição
Entrada	10,000 ± 2% token, medidos com `o200k_base`; um prefixo exclusivo é adicionado ao início da entrada para controlar acertos de cache não intencionais
Saída	1,000 a 1,200 tokens de resposta, incluindo pontos de verificação fixos
Tempo limite	300 segundos, idêntico no mesmo grupo de comparação
Concorrência única C1	90 execuções, 3 janelas × 30
Concorrência 10 C10	90 execuções, 3 janelas × 30
Subteste de cache	30 execuções, 3 janelas × 2 faixas de 8k/32k × 5 execuções
Isolamento	Qualidade das respostas e velocidade de resposta executadas separadamente, com janela de medição independente para a velocidade de resposta

O teste de concorrência usa um mecanismo de reposição em malha fechada: a cada requisição concluída, outra é enviada. C10 representa o resultado observado sob essa carga e não constitui uma curva completa de capacidade.

Cronometragem e saída válida

Indicador	Nome completo em inglês	Definição e uso
Ponto de início da medição	Measurement Start Time	Momento em que a requisição formal começa a ser gravada após a conclusão da conexão pré-estabelecida; o tempo de inicialização a frio da conexão é registrado separadamente
TTFT	Time to First Token	Tempo de espera até o primeiro token de raciocínio real, conteúdo ou carga de parâmetros de ferramenta; eventos de papel vazio e heartbeat não são contados, e o valor é um indicador bruto
TTFA	Time to First Answer	Tempo de espera até o primeiro fragmento de conteúdo final não vazio, incluindo o tempo de raciocínio anterior, usado na pontuação de latência
TPOT	Time per Output Token	Tempo médio por token na fase de geração do conteúdo, calculado a partir dos tempos do primeiro e do último fragmento de conteúdo e das contagens de tokens correspondentes
goodput	Valid-Output Throughput	Taxa de tokens de resposta válidos que atendem aos requisitos de correção e completude durante todo o tempo de relógio do C10

Quando o conteúdo é retornado de uma só vez em bloco, o TPOT é registrado como inválido e nenhuma taxa por token é derivada dele. A estatística de pontuação usa o P50 com tratamento de falhas (50th Percentile, 50º percentil, ou mediana); o P95 empírico (95th Percentile, 95º percentil) e a variação entre janelas são reportados separadamente, e a amostra de 90 execuções por faixa não sustenta conclusões sobre o P99 (99th Percentile, 99º percentil). Aqui, P indica Percentile e é usado separadamente da dimensão P de velocidade de resposta.

Fórmulas de pontuação

Os nomes de funções e símbolos de subpontuação desta seção são notações de cálculo deste método e têm os seguintes significados:

Código	Nome em inglês	Significado
`S(x; τ)`	Latency Score Function	Função que converte o tempo de espera x em subpontuação de latência, com τ como escala de latência
`L(x; t, k)`	Lower-is-Better Score Function	Função de pontuação em que valores menores são melhores; nesta seção, usada para TPOT, com t como meta de pontuação máxima e k como multiplicador de faixa
`H(x; t)`	Higher-is-Better Score Function	Função de pontuação em que valores maiores são melhores; nesta seção, usada para throughput efetivo, com t como meta de pontuação máxima
`l_ttfa`	Answer Latency Subscore	Subpontuação de latência da primeira resposta de conteúdo, correspondente ao menor valor entre C1 e C10
`l_tpot`	Output Token Time Subscore	Subpontuação de tempo por token de conteúdo, correspondente ao menor valor entre C1 e C10
`P_response`	Response Performance Score	Subpontuação de desempenho de resposta, composta por latência, tempo por token e throughput efetivo, sem a subpontuação de cache
`P50_TTFA_C1`, `P50_TTFA_C10`	Median Time to First Answer at Concurrency 1 / 10	Mediana de TTFA com tratamento de falhas em concorrência 1 ou 10
`P50_TPOT_C1`, `P50_TPOT_C10`	Median Time per Output Token at Concurrency 1 / 10	Mediana de TPOT com tratamento de falhas em concorrência 1 ou 10

A_P é a pontuação absoluta de velocidade de resposta, incluindo desempenho de resposta e subpontuação de cache; D_P é a pontuação da dimensão de velocidade de resposta após a referência relativa e a composição de evidências, que participa da pontuação total. A seguir, clip limita o valor entre 0 e 1, ln é o logaritmo natural, min indica o menor valor e Σ indica somatório. Os parâmetros τ, b, c e k das fórmulas são definidos na tabela de parâmetros logo após as fórmulas:

Desempenho absoluto da velocidade de resposta

S(x; τ) = 100 × τ / (τ + x)
L(x; t, k) = 100 × clip[ln(k·t/x) / ln(k)]
H(x; t) = 100 × clip[ln(x / (0.05·t)) / ln(20)]

l_ttfa = min(S(P50_TTFA_C1; τ), S(P50_TTFA_C10; τ))
l_tpot = min(L(P50_TPOT_C1; b, 10), L(P50_TPOT_C10; b, 10))

goodput = Σ requisições válidas min(tokens de resposta, 1000) / Σ duração de relógio da janela C10

P_response = 0.35 × l_ttfa + 0.35 × l_tpot + 0.30 × H(goodput; c)
A_P = 0.80 × P_response + 0.20 × K_native

Parâmetro	Nome em inglês	Valor	Significado
τ	Latency Scale	2 segundos	TTFA em que a subpontuação de latência atinge 50
b	Target Time per Output Token	5 ms/token	Meta de pontuação máxima do TPOT; 100 ao atingir ou ficar abaixo desse valor
c	Target Valid-Output Throughput	1,200 token/s	Meta de pontuação máxima do throughput efetivo em C10; 100 ao atingir ou superar esse valor
k	TPOT Range Multiplier	10	Multiplicador de faixa do mapeamento logarítmico do TPOT

As metas acima se aplicam à carga definida neste padrão e não representam limites universais para todos os modelos e todas as cargas de trabalho.

TTFA	0 segundos	1 segundo	2 segundos	4 segundos	10 segundos
Subpontuação de latência	100	66.7	50	33.3	16.7

Saídas inválidas e isolamento da medição

Saídas com comprimento incorreto, ponto de verificação errado, degeneração em loop, erro no fluxo, término anormal ou truncamento são consideradas inválidas, mas ainda contam para a carga e o tempo. Antes do cálculo do P50, aplicam-se os seguintes tratamentos:

TTFA é considerado infinito positivo, com pontuação de latência 0.
TPOT é considerado 10b, ou 50 ms/token.
A contribuição de saída válida para o goodput é 0, e o tempo permanece na janela C10 correspondente.
O tempo medido bruto é preservado separadamente e não é substituído pelo valor de tratamento da pontuação.

O número de requisições válidas, o número planejado e a taxa de saída válida são reportados simultaneamente. Os resultados de desempenho incluem o impacto das falhas de serviço na entrega e não podem ser interpretados apenas pela latência das requisições bem-sucedidas.

Acertos em cache

A subpontuação de cache K (Cache Hit Score, subpontuação de acertos efetivos em cache) mede a proporção de tokens de um prefixo reutilizável que são efetivamente reportados como leitura de cache. Para cada comprimento, os volumes de leitura e reutilizáveis das requisições quentes são agregados primeiro; em seguida, os dois comprimentos, 8k e 32k, são agregados com pesos iguais.

Código	Nome completo em inglês	Significado
`K_length`	Length-Specific Cache Hit Score	Subpontuação de acertos efetivos em cache para uma faixa de comprimento de prefixo
`K_8k`	8k-Prefix Cache Hit Score	Subpontuação de acertos efetivos em cache para prefixo de cerca de 8k tokens
`K_32k`	32k-Prefix Cache Hit Score	Subpontuação de acertos efetivos em cache para prefixo de cerca de 32k tokens
`cache_read_native_tokens`	Cache-Read Native Token Count	Número de tokens nativos lidos do cache efetivamente reportado pelas requisições quentes, sem incluir gravações em cache
`expected_reusable_native_tokens`	Expected Reusable Native Token Count	Número de tokens nativos do prefixo que deveriam ser reutilizáveis segundo as regras, usado como denominador da taxa de acertos

Aqui, native_tokens indica tokens medidos pelo tokenizer nativo especificado e é interpretado separadamente do native em K_native, que indica configuração conforme a documentação do provedor.

Subpontuação de acertos em cache

K_length = 100 × Σ requisições quentes cache_read_native_tokens
                 / Σ requisições quentes expected_reusable_native_tokens

K = (K_8k + K_32k) / 2

A taxa de acertos ponderada por tokens após combinar comprimentos diferentes pode ser usada como indicador de diagnóstico e não substitui o K de pesos iguais da pontuação principal.

Sequência de teste e denominador

Cada grupo usa um prefixo longo fixo e novas perguntas variáveis, totalizando 5 requisições:

A primeira requisição grava o cache; um identificador aleatório exclusivo é adicionado ao início do prefixo para isolar os diferentes grupos de teste.
As requisições 2 a 4 mantêm o prefixo idêntico byte a byte e usam perguntas curtas diferentes no final, enviadas 5, 30 e 120 segundos após a conclusão da requisição anterior.
A quinta requisição usa um novo prefixo totalmente independente como controle a frio.

As três janelas cobrem as duas faixas de aproximadamente 8k e 32k, totalizando 30 requisições. Apenas as requisições 2 a 4 entram na pontuação de acertos a quente, com 9 oportunidades de requisição quente por comprimento. A primeira gravação e o controle a frio são verificados separadamente. O denominador usa o número registrado de tokens nativos do prefixo que deveriam ser reutilizáveis, com base no tokenizer, template e regras de cache especificados. Novas perguntas e partes não reutilizáveis são identificadas separadamente; o denominador não é substituído pelo total de tokens de entrada, pelo volume efetivamente acertado ou pela contagem de o200k_base. Os volumes de leitura reportados por bloco mantêm o valor original e o tamanho do bloco. A pontuação principal usa K_native: a configuração necessária para habilitar o cache conforme a documentação do provedor, sendo os campos de afinidade de sessão necessários parte da adaptação de integração. K_default registra o resultado da medição uniforme sem configuração de afinidade de sessão, como diagnóstico da configuração padrão. Todos os provedores seguem o mesmo princípio de decisão de configuração, e o relatório preserva a configuração específica.

Situações anormais e não observáveis

Situação	Tratamento
Denominador reutilizável desconhecido	K fica indisponível e não recebe 0
Requisição bem-sucedida sem campo de leitura de cache	Registrado por padrão como não observável; interpretado como 0 somente quando a documentação declarar explicitamente a omissão do campo em caso de zero acertos, houver registro prévio e as evidências forem consistentes
Volume de leitura maior que o denominador ou campos conflitantes	Registram-se a anomalia e o valor original, sem truncar em 100%
Controle a frio bem-sucedido com leitura 0	Pode servir como evidência de controle a frio; controles não concluídos mantêm status de restrição
Requisição quente com falha e denominador determinável	A leitura entra como 0 e o registro de falha é listado separadamente
Modelo com suporte nativo a cache, não oferecido pelo serviço	K = 0
Modelo sem suporte nativo a cache, definido previamente	Faixa No-cache listada separadamente, `A_P = P_response`, reportada em separado da faixa com cache
Medição de acertos não suportada	K e P são marcados como indisponíveis e o peso do cache não é transferido

O usage só confirma o volume de leitura de cache reportado pela interface. Os custos reais só podem ser marcados como verificados após conferência; acertos em cache não equivalem a gratuidade nem garantem redução do custo total.

Estabilidade do serviço

A estabilidade do serviço R mede a proporção de conclusão válida na primeira execução de um conjunto fixo de requisições, sem usar novas tentativas automáticas ou fallback entre provedores de modelos na pontuação:

Desempenho absoluto da estabilidade do serviço

A_R = 100 × conclusões válidas na primeira execução / oportunidades planejadas válidas

Oportunidades do plano completo = 300

Conjunto de teste e condições de sucesso

O teste tem 300 oportunidades, distribuídas em 3 janelas, com 100 em cada. Cada conjunto de 100 usa a mesma composição de tarefas: 40 de texto curto, 30 de entrada longa de cerca de 10k, 20 de chamada de protocolo de ferramentas e 10 de chamada única com histórico multirodada. As tarefas de ferramentas usam um histórico válido pré-construído para manter estável o denominador de pontuação. Por padrão, a concorrência é única, e a taxa de requisições fica dentro das cotas de RPM e TPM verificadas. Esse conjunto é executado de forma independente e não mistura questões de qualidade das respostas, casos funcionais negativos, novas tentativas de diagnóstico, aquecimento ou requisições de carga de estresse. O sucesso na primeira execução exige simultaneamente:

status HTTP conforme o esperado e estrutura de resposta e sequência de eventos válidas.
conteúdo ou carga de ferramenta não vazio e encerramento normal.
ausência de erros no fluxo, truncamento inesperado ou campos obrigatórios ausentes.
campos de usage exigidos completos e interpretados conforme a estrutura da interface correspondente.
conclusão dentro do prazo de 300 segundos.

HTTP 200 não basta para determinar sucesso isoladamente; erros de resposta da tarefa e falhas do serviço são contabilizados separadamente.

Falhas, registros inválidos e intervalos

429 dentro da cota, erros do servidor, falhas de conexão, tempos limite, retornos vazios, interrupções de fluxo e truncamentos anormais contam como falha. Quando uma falha do provedor de modelos impedir o envio de uma requisição planejada, ela conta como falha e o motivo é registrado. Anomalias no ambiente de teste ou no testador são marcadas como INVALID, sem atribuição ao serviço avaliado, preservando simultaneamente o número de oportunidades válidas e as restrições de cobertura. Requisições de diagnóstico são registradas separadamente e não substituem o resultado da primeira execução. A taxa de sucesso é reportada com intervalo bilateral de 95% de Clopper–Pearson. A taxa de sucesso observada de 300/300 é 100%, com limite inferior do intervalo de aproximadamente 98.78%, o que ainda não prova uma taxa de sucesso de 100% em longo prazo. A distribuição de falhas e a maior sequência contínua de falhas são registradas por janela e categoria de tarefa.

Escala do teste e comparabilidade

Tamanho da amostra

A seguir está a escala planejada do AF Full no AF Suite:

Item	Escala planejada por provedor	Composição
Qualidade das respostas	4,250 instâncias	BFCL 1,500, HLE 2,500, AA-LCR 250
Suporte a funcionalidades	180 verificações	60 casos × 3 janelas
Velocidade de resposta	180 requisições	C1/C10 com 90 cada, distribuídas em 3 janelas
Cache	30 requisições	3 janelas × dois comprimentos de prefixo × 5 execuções
Estabilidade do serviço	300 oportunidades	3 janelas × 100

Os números de instâncias de tarefa, requisições de API e requisições ao juiz são contabilizados separadamente; tarefas de ferramentas em vários estágios e repetições dentro de um caso podem corresponder a requisições adicionais.

Condições de execução

Um mesmo grupo de comparação usa o mesmo conjunto de questões, rodadas, tempo limite, temperatura, orçamento de saída, tratamento de falhas e fórmulas de pontuação.
Usa o mesmo cliente, região de rede e estratégia de conexão, e registra o nível de serviço da conta, os horários reais de início e fim e a ordem de execução.
O teste completo usa 3 janelas com intervalo mínimo de 60 minutos; a qualidade das respostas e a velocidade de resposta são executadas separadamente.
ID do modelo, autenticação, campos necessários, formato de streaming, mapeamento de uso, semântica de cache e base do tokenizer formam o registro de adaptação.
A adaptação de integração é registrada e validada antes da amostragem, e a mesma regra se aplica a todos os provedores de modelos elegíveis.
A visão principal de pontuação usa F_native e K_native; diagnósticos de compatibilidade e de configuração padrão são reportados separadamente.
Os resultados da primeira execução são preservados de forma contínua, e os registros planejados, efetivos, filtrados, com falha, inválidos e não observados são conferidos separadamente.

Os testes são executados dentro das cotas, permissões e limites de custo aprovados. Quando condições necessárias não são atendidas, o resultado mantém o status restrito, incompleto ou indisponível, sem renormalizar os itens restantes.

Fontes dos conjuntos de dados e registro dos resultados

Fontes dos conjuntos de dados

A qualidade das respostas usa um conjunto de questões derivado e versionado, preservando a origem, registros de amostragem e informações de verificação de integridade. O conjunto de questões de qualidade das respostas do AF Full contém 775 questões distintas, com os seguintes snapshots de origem:

Categoria	Snapshot da fonte	Registro de versão	Licença e limites de uso
BFCL	Dados e verificador do Berkeley Function Calling Leaderboard	`6ea57973c7a6`	Repositório de origem Apache-2.0; esta avaliação usa um conjunto de questões derivado e uma adaptação do verificador
HLE	Snapshot de espelho de texto; conjunto de dados oficial	Espelho `e3e9cb5a550e`	Origem registrada como MIT; equivalência byte a byte com a versão oficial atual não verificada
AA-LCR	Snapshot de dados e documentação do Artificial Analysis AA-LCR	`9a77ef56b717`	Repositório do conjunto de dados Apache-2.0; direitos de terceiros em documentos citados permanecem com seus titulares

O BFCL é amostrado por cotas de categoria; HLE e AA-LCR são amostrados por proporção estratificada, garantindo cobertura mínima em cada estrato. A amostragem usa semente especificada e ordenação SHA-256, e a versão do conjunto de questões, a lista de filtragem e o protocolo de pontuação acompanham o registro do resultado. Os links acima servem para verificar as fontes originais e não equivalem a um pacote de avaliação completo que reproduza diretamente as pontuações AF. Dados restritos não são redistribuídos neste documento; a licença específica segue a fonte correspondente.

Registro e verificação dos resultados

Os relatórios de provedores são denominados uniformemente AF Profile e registram as seguintes informações de avaliação:

Categoria de registro	Conteúdo necessário
Identidade da avaliação	Versão do padrão e do conjunto de questões, provedor de modelos, versão exata do modelo e serviço de referência oficial
Condições de medição	Configuração de raciocínio, nível da conta, região, período, tempo limite, concorrência e parâmetros de desempenho
Base da adaptação	Data de consulta da documentação, campos necessários, estrutura de streaming, interpretação de uso e configuração de cache
Cobertura de amostras	Números planejados e efetivos, denominador de pontuação, itens filtrados, com falha, inválidos e não observados
Base da pontuação	Respostas de referência, configuração do verificador ou juiz, status de pontuação e avaliação de viés
Medições brutas	Requisições e respostas anonimizadas, horários dos eventos, status, motivos de término e `usage` bruto
Resultados agregados	Entradas das camadas A/B/C, quatro pontuações D, pontuação total, intervalos das dimensões e valores não arredondados
Indicadores de diagnóstico	`F_strict`, `K_default`, taxa de validade, categorias de erro e restrições de aplicação correspondentes

Sucesso do serviço, correção da tarefa e validade da saída são marcados separadamente. Casos negativos não entram na pontuação de estabilidade do serviço, leituras e gravações em cache são medidas separadamente, e o status de verificação de custos estimados e reais é registrado separadamente. Antes da exibição externa, chaves, identificadores de usuário e conteúdo sensível são removidos; valores incluem unidades, e valores ausentes mantêm seu status.

Dados de referência e exemplos de cálculo

A seguir, os resultados de cinco serviços do DeepSeek V4.1 Flash 1017 ilustram o método de cálculo. A pontuação principal usa F_native e K_native. Os valores são exibidos com duas casas decimais, e os cálculos usam os valores intermediários salvos no arquivo de resultados.

Esta seção apresenta resultados de referência (PROVISIONAL). As evidências de registro prévio da coleta e da adaptação estão incompletas, e os resultados não podem ser usados como resultado oficial de AF Full do AIHubMix Fidelitas Standard. A qualidade das respostas contabiliza 4,240 instâncias por provedor, com outras 10 instâncias filtradas. Os juízes de HLE/AA-LCR pertencem à mesma família DeepSeek dos modelos avaliados, e as evidências de calibração independente são insuficientes. Os resultados se limitam à configuração e ao escopo de observação registrados.

Desempenho absoluto e subpontuações de cache

Na tabela abaixo, Q, F, P e R são valores de desempenho absoluto A e não são diretamente as quatro pontuações de dimensão exibidas na pontuação total. K é a subpontuação de cache dentro de P.

Provedor de modelos	A_Q	F_native (A_F)	A_P	K_native	A_R
ByteDance	42.05	74.98	84.37	93.83	100.00
Baidu	38.00	88.39	37.77	68.85	100.00
Alibaba Cloud	41.75	89.78	88.58	99.37	100.00
Referência oficial da DeepSeek	42.45	94.00	86.14	98.38	100.00
Fireworks	41.42	71.78	79.51	60.68	100.00

O conjunto de estabilidade do serviço foi 300/300 nos cinco provedores; falhas de serviço de outros conjuntos ainda contam na dimensão a que pertencem e não podem ser substituídas pelo resultado do conjunto R.
O K_native do Fireworks usa a configuração de afinidade de sessão definida na documentação; os demais serviços são medidos com a configuração exigida por sua respectiva documentação.
O K do Baidu aplica a regra de amostra que interpreta como 0 os campos omitidos em caso de zero acertos, e as evidências de registro prévio correspondentes estão incompletas; há registros incompletos no controle a frio de 8k, e K mantém o status de referência.
O F_strict da DeepSeek está indisponível devido a 27 registros INVALID; o F_native é calculado com os registros válidos aplicáveis.

Composição da dimensão de suporte a funcionalidades

Usando a Alibaba Cloud como exemplo, a pontuação absoluta de suporte a funcionalidades é A_F = 89.777778, a pontuação absoluta do mesmo item na referência oficial é 94, a escala de diferença é δ_F = 15 e a completude das evidências é C_F = 100. Primeiro calcula-se a pontuação de referência relativa B_F; em seguida, compõe-se a pontuação da dimensão D_F:

Referência relativa e pontuação da dimensão de funcionalidades

B_F = 50 + 50 × clip((89.777778 − 94) / 15, −1, 1)
    ≈ 35.925926

D_F = 0.65 × 89.777778 + 0.20 × 35.925926 + 0.15 × 100
    ≈ 80.540741

89.78 representa o desempenho absoluto da funcionalidade nativa, e 80.54 representa a pontuação exibida da dimensão de funcionalidades que participa do cálculo da pontuação total.

Pontuação de estabilidade do serviço da referência oficial

O conjunto R da referência oficial é 300/300, a pontuação absoluta de estabilidade do serviço é A_R = 100, a pontuação de referência relativa é B_R = 50 e a completude das evidências é C_R = 100:

Composição da dimensão de estabilidade do serviço

D_R = 0.65 × 100 + 0.20 × 50 + 0.15 × 100
    = 90

100% é a taxa de sucesso observada do conjunto de estabilidade do serviço nesta rodada, e 90 é a pontuação exibida da dimensão após a composição em três camadas.

Pontuações exibidas das dimensões e pontuação total

A tabela abaixo usa valores D e corresponde à fórmula da pontuação total. A tabela segue a ordem de exibição dos serviços e não está ordenada por pontuação.

Provedor de modelos	Qualidade das respostas D_Q	Suporte a funcionalidades D_F	Velocidade de resposta D_P	Estabilidade do serviço D_R	Pontuação total
ByteDance	50.83	62.24	76.57	88.50	66.37
Baidu	36.70	75.71	36.55	87.00	56.48
Alibaba Cloud	52.13	80.54	85.01	90.00	73.38
Referência oficial da DeepSeek	52.59	84.60	80.99	90.00	73.76
Fireworks	50.42	60.16	68.55	88.50	64.10

Usando a referência oficial como exemplo:

Cálculo da pontuação total

Overall = 0.35 × 52.594340 + 0.25 × 84.600000
        + 0.20 × 80.990116 + 0.20 × 90.000000
        ≈ 73.76

Indicadores de diagnóstico independentes

Provedor de modelos	F_strict	K_default
ByteDance	56.83	93.83
Baidu	66.17	68.85
Alibaba Cloud	89.78	99.37
Referência oficial da DeepSeek	Indisponível	98.38
Fireworks	71.78	11.06

F_strict expressa a compatibilidade de interface, e K_default expressa o resultado de cache da configuração uniforme sem afinidade de sessão. Nenhuma das duas colunas substitui as entradas da pontuação principal. Nos intervalos de diferença da qualidade das respostas em relação à referência oficial, os intervalos de 95% da ByteDance, da Alibaba Cloud e da Fireworks incluem 0, com o B_Q = 50 correspondente. A diferença do Baidu é de aproximadamente −4.46 pontos percentuais, com intervalo de 95% de aproximadamente −5.78 a −3.16 pontos percentuais. Essa conclusão se limita ao conjunto de tarefas e às condições de observação desta rodada e não se estende a uma conclusão de significância estatística para a pontuação total.

Padrão e condições de aplicação

Identificador do padrão: AIHubMix Fidelitas Standard v2.0. Os resultados registram simultaneamente AF Suite, configuração de adaptação, protocolo de pontuação e condições de medição. Resultados com configurações ou critérios estatísticos diferentes são interpretados separadamente. As quatro pontuações nas páginas de modelos são valores D; as taxas de acerto, taxas de aprovação funcional, latência, proporção de cache e taxa de sucesso na primeira execução nos relatórios são os indicadores brutos correspondentes ou valores A. A pontuação total serve para exibição agregada, e as decisões específicas de integração se baseiam nos resultados das dimensões, nos requisitos funcionais e nas condições de evidência. Documentos relacionados: Escolher um modelo · Detalhes e comparação de modelos Data do documento: 2026-11-05

⌘I

​Escopo da pontuação e como ler os resultados

​Status da pontuação

​Interpretação dos resultados

​Pontuação total e composição das dimensões

​Fórmula da pontuação total

​Composição em três camadas

​Referência oficial relativa B

​Completude das evidências C

​Qualidade das respostas

​Conjunto de questões e pontuação

​Condições de comparação e tratamento de ausências

​Suporte a funcionalidades

​Grupos de funcionalidades e pesos

​Status de verificação

​Capacidade nativa e compatibilidade de interface

​Velocidade de resposta

​Carga e amostragem

​Cronometragem e saída válida

​Fórmulas de pontuação

​Saídas inválidas e isolamento da medição

​Acertos em cache

​Sequência de teste e denominador

​Situações anormais e não observáveis

​Estabilidade do serviço

​Conjunto de teste e condições de sucesso

​Falhas, registros inválidos e intervalos

​Escala do teste e comparabilidade

​Tamanho da amostra

​Condições de execução

​Fontes dos conjuntos de dados e registro dos resultados

​Fontes dos conjuntos de dados

​Registro e verificação dos resultados

​Dados de referência e exemplos de cálculo

​Desempenho absoluto e subpontuações de cache

​Composição da dimensão de suporte a funcionalidades

​Pontuação de estabilidade do serviço da referência oficial

​Pontuações exibidas das dimensões e pontuação total

​Indicadores de diagnóstico independentes

​Padrão e condições de aplicação

Escopo da pontuação e como ler os resultados

Status da pontuação

Interpretação dos resultados

Pontuação total e composição das dimensões

Fórmula da pontuação total

Composição em três camadas

Referência oficial relativa B

Completude das evidências C

Qualidade das respostas

Conjunto de questões e pontuação

Condições de comparação e tratamento de ausências

Suporte a funcionalidades

Grupos de funcionalidades e pesos

Status de verificação

Capacidade nativa e compatibilidade de interface

Velocidade de resposta

Carga e amostragem

Cronometragem e saída válida

Fórmulas de pontuação

Saídas inválidas e isolamento da medição

Acertos em cache

Sequência de teste e denominador

Situações anormais e não observáveis

Estabilidade do serviço

Conjunto de teste e condições de sucesso

Falhas, registros inválidos e intervalos

Escala do teste e comparabilidade

Tamanho da amostra

Condições de execução

Fontes dos conjuntos de dados e registro dos resultados

Fontes dos conjuntos de dados

Registro e verificação dos resultados

Dados de referência e exemplos de cálculo

Desempenho absoluto e subpontuações de cache

Composição da dimensão de suporte a funcionalidades

Pontuação de estabilidade do serviço da referência oficial

Pontuações exibidas das dimensões e pontuação total

Indicadores de diagnóstico independentes

Padrão e condições de aplicação