> ## Documentation Index > Fetch the complete documentation index at: https://docs.aihubmix.com/llms.txt > Use this file to discover all available pages before exploring further. # AIHubMix Fidelitas Standard v2.0 > Conheça as quatro dimensões de pontuação do AIHubMix Fidelitas Standard, a fórmula da pontuação total, a determinação de capacidade nativa e compatibilidade de interface, a medição de velocidade de resposta e de cache, e também as fontes do conjunto de questões e os limites estatísticos. O AIHubMix Fidelitas tem como objeto de medição o desempenho na entrega de um mesmo modelo nos serviços de diferentes provedores de modelos, avaliando separadamente a correção dos resultados das tarefas, a disponibilidade de funcionalidades, o desempenho de resposta e a conclusão da primeira requisição. A pontuação total e as quatro pontuações de dimensão são apresentadas em conjunto para comparar o desempenho do serviço do mesmo modelo sob condições de teste definidas. Este documento usa o **AIHubMix Fidelitas Standard v2.0**, com versão de projeto **AF v2.0**. A pontuação principal usa os resultados de suporte a funcionalidades e de medição de cache obtidos com a configuração indicada na documentação do provedor; a compatibilidade de interface e os resultados de cache na configuração padrão são reportados separadamente como indicadores de diagnóstico. ## Escopo da pontuação e como ler os resultados | Item de pontuação | Código | Peso | Conteúdo medido | | - | - | - | - | | Qualidade das respostas | Q (Quality) | 35% | Correção dos resultados em tarefas de chamada de ferramentas, conhecimento e raciocínio e compreensão de textos longos | | Suporte a funcionalidades | F (Functionality) | 25% | Disponibilidade funcional de streaming, ferramentas, saída estruturada, parâmetros, contexto, respostas de erro e medição de uso | | Velocidade de resposta | P (Performance) | 20% | Latência da primeira resposta de conteúdo, taxa de geração, throughput efetivo em concorrência e acertos efetivos em cache | | Estabilidade do serviço | R (Reliability) | 20% | Proporção de um conjunto fixo de requisições concluídas com validade na primeira execução | **O objeto de pontuação independente é “provedor de modelos × versão do modelo”**, ou seja, o serviço de uma versão específica de modelo oferecida por um provedor de modelos. Cada objeto forma um conjunto de pontuações nas quatro dimensões e uma pontuação total sob um lote de avaliação e uma configuração especificados. Modo de raciocínio, parâmetros da requisição, nível de serviço da conta, região de teste e período de observação são condições de medição registradas com o resultado. Resultados sob condições diferentes são marcados separadamente e não são combinados diretamente. Quando a versão do modelo, a região ou o nível de serviço não puderem ser verificados, o status de não verificação correspondente é indicado, sem presunção de confirmação. A avaliação é executada pela API da AIHubMix, e os resultados descrevem o desempenho efetivamente observado nesse modo de integração. O serviço de referência oficial também é medido pela API da AIHubMix e não é tratado como uma medição independente por conexão direta à API oficial. Um mesmo grupo de comparação usa o mesmo conjunto de questões, rodadas, tempo limite, orçamento de requisições, pontuação de falhas e método estatístico. Campos de requisição obrigatórios, estrutura de streaming e campos de uso definidos na documentação do provedor são tratados pela camada de adaptação de integração (adapter), mantendo o objetivo de medição consistente. Este método não é usado para ranking de capacidade intelectual entre modelos, e a identidade do provedor de modelos não constitui base para pontuação adicional. ### Status da pontuação | Status | Significado | | - | - | | Oficial | Registro do teste, amostragem, pontuação e verificação de evidências concluídos conforme o padrão correspondente | | Resultado de referência (PROVISIONAL) | É possível calcular um resultado, mas a amostragem, a pontuação, o registro de adaptação ou as evidências apresentam restrições de aplicação | | Indisponível (UNAVAILABLE) | Pontuação necessária, denominador ou referência ausente; nenhum valor é atribuído | | Não comparável | Configuração do modelo, condições de observação ou visão de resultado inconsistentes; não entra em comparação de mesmo critério | Valores ausentes e pontuações 0 são tratados separadamente. Quando o serviço falha explicitamente ou não oferece uma capacidade obrigatória, o item é contabilizado como falha conforme a regra correspondente; medições ausentes, denominadores desconhecidos ou evidências insuficientes mantêm o status correspondente. Se qualquer dimensão estiver indisponível, a pontuação total também é marcada como indisponível, e seu peso não é redistribuído entre as demais dimensões. ### Interpretação dos resultados * Os indicadores brutos são convertidos em desempenho absoluto A pelas fórmulas de pontuação; após a aplicação da referência relativa e da composição de evidências, obtém-se a pontuação composta da dimensão D. A pontuação total usa D e não pondera diretamente as taxas brutas de acerto, de aprovação funcional ou de sucesso do serviço. * As pontuações refletem o desempenho em um conjunto de questões, carga, região, configuração e janela de observação específicos; as condições de aplicação acompanham o registro do resultado. * A precisão de exibição não representa capacidade de distinção estatística. As diferenças de qualidade das respostas são interpretadas com intervalos estatísticos pareados; diferenças decimais isoladas não bastam para determinar superioridade. * A pontuação total é um índice agregado, não constitui certificação e não fornece intervalo de confiança. As conclusões estatísticas se baseiam nas evidências de cada dimensão específica. * A estabilidade do serviço reporta simultaneamente o número de sucessos na primeira execução, o número de oportunidades planejadas e o intervalo bilateral de 95%, e não pode ser interpretada diretamente como SLA de longo prazo. Após revisão, se for confirmada divergência de identidade do modelo, corte silencioso da entrada, exposição de conteúdo sensível, violação grave de protocolo ou anomalia de cobrança, o resultado é marcado separadamente como “não aprovado na verificação de admissão”, preservando as evidências de reprodução e as restrições de uso. As pontuações das dimensões e a pontuação total não compensam essa restrição. ## Pontuação total e composição das dimensões ### Fórmula da pontuação total A pontuação total é calculada pela soma ponderada das pontuações compostas das quatro dimensões. `D_Q`, `D_F`, `D_P` e `D_R` representam, respectivamente, as pontuações compostas de qualidade das respostas, suporte a funcionalidades, velocidade de resposta e estabilidade do serviço. ```text Pontuação total theme={null} Overall = 0.35 × D_Q + 0.25 × D_F + 0.20 × D_P + 0.20 × D_R ``` Todas as pontuações compostas das quatro dimensões usam a escala de 0–100. A pontuação total resume o resultado geral, e as quatro pontuações de dimensão identificam diferenças específicas. ### Composição em três camadas Cada pontuação composta de dimensão D é calculada pela soma ponderada de desempenho absoluto A, referência oficial relativa B e completude das evidências C. ```text Pontuação da dimensão theme={null} D = 0.65 × A + 0.20 × B + 0.15 × C ``` | Camada de entrada | Peso | Definição | | - | - | - | | A: desempenho absoluto | 65% | Resultado de medição real obtido com os testes e métodos estatísticos especificados | | B: referência oficial relativa | 20% | Diferença do desempenho absoluto da mesma dimensão em relação ao serviço de referência oficial | | C: completude das evidências | 15% | Grau de sustentação do resultado por cobertura de amostras, consistência das observações e evidências de medição | A, B e C são símbolos da camada de cálculo e não indicam nível de acesso. O desempenho absoluto usa as fórmulas especificadas: o serviço mais rápido ou de maior pontuação do lote não é definido como 100, e não há renormalização por lote. O prefixo antes do sublinhado indica a camada de cálculo, e o sufixo depois dele indica a dimensão de pontuação. Por exemplo, `A_F` é a pontuação de suporte a funcionalidades da camada de desempenho absoluto, e `D_F` é a pontuação de suporte a funcionalidades após a composição em três camadas. A pontuação principal e os valores de diagnóstico também usam os seguintes sufixos de configuração: | Código | Nome completo em inglês | Significado e uso | | - | - | - | | `F_native` | Native Functionality Score | Pontuação de suporte nativo a funcionalidades obtida após configuração e interpretação conforme a documentação do provedor, usada como `A_F` da pontuação principal | | `F_strict` | Strict Interface Compatibility Score | Pontuação de compatibilidade estrita obtida pela verificação direta das convenções de interface da AIHubMix, reportada como diagnóstico separado | | `K` | Cache Hit Score | Subpontuação de acertos efetivos em cache, incluída no desempenho absoluto da velocidade de resposta | | `K_native` | Native Cache Hit Score | Subpontuação de cache medida com a configuração exigida pela documentação do provedor, usada na pontuação principal | | `K_default` | Default-Configuration Cache Hit Score | Subpontuação de cache medida de forma uniforme sem configuração de afinidade de sessão, reportada como diagnóstico separado | `native` indica configuração conforme a documentação do provedor, `strict` indica verificação estrita de interface e `default` indica a configuração padrão definida neste documento. `K` é o símbolo de cache deste método e não representa Quality. A pontuação principal usa sempre `F_native` e `K_native`; valores de diagnóstico não são combinados com a pontuação principal. ### Referência oficial relativa B `A_official` representa a pontuação de desempenho absoluto do serviço de referência oficial na dimensão atual; sua pontuação de referência relativa `B_official` é fixada em 50. ```text Camada de referência relativa theme={null} B_official = 50 B = 50 + 50 × clip((A − A_official) / δ, −1, 1) ``` `clip(x, −1, 1)` é uma função de limitação que restringe x ao intervalo de −1 a 1. O parâmetro de escala de diferença δ é definido por dimensão: | Dimensão | δ | | - | - | | Qualidade das respostas Q | 2 | | Suporte a funcionalidades F | 15 | | Velocidade de resposta P | 10 | | Estabilidade do serviço R | 2 | A qualidade das respostas usa bootstrap de clusters de tarefas pareadas com 5,000 repetições para estimar o intervalo de diferença em relação à referência oficial. **Quando o intervalo bilateral de 95% inclui 0, `B_Q = 50`**; quando o intervalo não inclui 0, aplica-se o mapeamento acima. O serviço de referência oficial é submetido independentemente à medição de desempenho absoluto; seu próprio B é fixado em 50, sem presumir pontuação máxima. Quando configurações, tempos limite, períodos ou visões de resultado diferentes não são comparáveis, a camada relativa não recebe valores presumidos. ### Completude das evidências C C é composto pelos cinco itens a seguir, cada um com no máximo 20 pontos, totalizando 100. Cada item recebe 20, 10 ou 0 pontos conforme o grau de cobertura e as evidências registradas: | Item | Conteúdo verificado | | - | - | | Cobertura de amostras | Grau de correspondência entre os registros válidos efetivos e o tamanho de amostra planejado | | Cobertura de janelas | Completude dos períodos necessários ou dos segmentos de coleta da qualidade das respostas | | Completude do uso | Cobertura e verificabilidade do `usage` bruto | | Evidências do denominador | Grau de verificação dos denominadores de pontuação de questões, de decisão funcional e de medição de cache | | Consistência de protocolo | Grau de consistência da configuração da requisição, da atribuição dos registros e do protocolo de observação | C avalia as evidências de medição e não mede diretamente a capacidade do modelo. Cada atribuição de pontos está associada a um registro de evidências, e o status do resultado é preservado independentemente; a pontuação da camada de evidências não substitui as verificações necessárias de validade dos dados. ## Qualidade das respostas A qualidade das respostas Q mede a proporção de instâncias de tarefa válidas com resultado correto, com base nas respostas de referência e no protocolo de pontuação especificado. ### Conjunto de questões e pontuação | Categoria | Conteúdo medido | Questões × rodadas | Instâncias planejadas | Método de pontuação | | - | - | - | - | - | | BFCL | Seleção de funções, preenchimento de parâmetros, chamadas paralelas, supressão de chamadas irrelevantes e cadeia de ferramentas em três estágios | 500 × 3 | 1,500 | Adaptação de correspondência JSON somente em Python baseada no AST checker oficial da versão especificada | | HLE | Questões de conhecimento textual e raciocínio de alta dificuldade, estratificadas por disciplina | 250 × 10 | 2,500 | Juiz de equivalência de respostas, registrando modelo juiz, prompt e versão | | AA-LCR | Perguntas e respostas abrangendo múltiplos documentos, com cerca de 74 mil a 114 mil tokens | 25 × 10 | 250 | Documentos especificados e respostas de referência, com pontuação por equivalência de respostas | | Total | 775 questões distintas | Executadas conforme as rodadas definidas por categoria | 4,250 | Agregado sobre todas as instâncias válidas | ```text Desempenho absoluto da qualidade das respostas theme={null} A_Q = 100 × instâncias corretas / instâncias válidas pontuadas Denominador do plano completo = 1,500 + 2,500 + 250 = 4,250 ``` As três categorias são agregadas pelo número de instâncias, sem média de pesos iguais entre as taxas de acerto de cada categoria. Tarefas de ferramentas com múltiplas rodadas podem corresponder a várias requisições de API; o número de instâncias de tarefa e o número de requisições são contabilizados separadamente. > [!NOTE] > > Este conjunto de questões é derivado do AF Suite, não constitui um subconjunto exato do conjunto oficial do Artificial Analysis e não reproduz os resultados de seu ranking. As 50 tarefas multirodada do BFCL são organizadas a partir de questões reais e definidas separadamente do ambiente oficial de execução multirodada com estado do BFCL. Consulte [Fontes dos conjuntos de dados](#dataset-sources) para origem e versão. ### Condições de comparação e tratamento de ausências * A correção da tarefa é determinada com base na resposta de referência; a resposta da referência oficial não é usada como verdade fundamental. * Todas as partes usam o mesmo orçamento controlável, número de amostragens e parâmetros semanticamente equivalentes; quando o modo de raciocínio, o template de ferramentas ou `effort` não podem ser alinhados, marca-se “configuração não comparável”. * Falhas do serviço, tempos limite, recusas de resposta e esgotamento do orçamento são contabilizados no denominador como falha de tarefa. * Registros com juiz inválido ou sem decisão válida são marcados separadamente, excluídos do denominador computável e mantêm o status de resultado de referência. * As regras de filtragem de questões são explicitadas no registro do teste, e o relatório lista os números planejados, filtrados e efetivamente pontuados. * Rodadas repetidas pertencem ao mesmo cluster de questões e não são tratadas como novas questões independentes. A diferença relativa usa bootstrap de clusters de tarefas pareadas por categoria, com 5,000 repetições. Todas as partes usam o mesmo índice de amostragem de questões e reportam o intervalo bilateral de 95% da diferença. Quando o intervalo inclui 0, marca-se “sem diferença conclusiva” e a camada de referência relativa assume 50. ## Suporte a funcionalidades O suporte a funcionalidades F mede se os recursos da interface estão disponíveis na configuração especificada, sem contabilizá-los novamente na taxa de acerto das respostas das tarefas. ### Grupos de funcionalidades e pesos | Grupo de funcionalidades | Peso | Conteúdo verificado | | - | - | - | | Streaming e protocolo de mensagens | 20% | Incrementos de streaming, ordem dos eventos, bloco de término, `finish_reason` e posição de `usage` | | Interface de ferramentas | 20% | Nome da ferramenta, schema, análise de parâmetros, chamadas paralelas, retorno de resultados de ferramentas e tratamento de erros | | Restrições de saída e parâmetros | 20% | Comportamento efetivo de `temperature`, `max_tokens`, `stop`, saída estruturada e configuração de raciocínio | | Contexto e estado | 15% | Limites da janela, tratamento de excesso, mensagens históricas e integridade de entradas longas | | Erros e recuperação | 15% | Consistência de códigos de erro, corpo do erro, limitação de taxa e semântica de novas tentativas com as convenções documentadas | | Protocolo de medição e cache | 10% | Integridade de `usage`, consistência dos totais e medição de cache | `f[组]` (Functional Group Pass Score, pontuação de aprovação do grupo funcional) representa a taxa de aprovação das instâncias válidas aplicáveis de um único grupo de funcionalidades. Na fórmula, `f流式`, `f工具`, `f约束`, `f上下文`, `f错误` e `f计量` correspondem aos seis grupos da tabela. ```text Desempenho absoluto do suporte a funcionalidades theme={null} f[组] = 100 × instâncias aprovadas / instâncias válidas aplicáveis A_F = 0.20 × f流式 + 0.20 × f工具 + 0.20 × f约束 + 0.15 × f上下文 + 0.15 × f错误 + 0.10 × f计量 ``` Cada grupo tem 10 casos; cada caso é executado 1 vez em 3 janelas, totalizando 60 casos e 180 verificações. Requisições repetidas previstas dentro de um caso são registradas separadamente e não alteram o agrupamento nem os pesos dos casos. ### Status de verificação | Status | Significado | Tratamento na agregação | | - | - | - | | PASS | Todos os itens de verificação aplicáveis passam | Conta como aprovado e como instância válida aplicável | | FAIL | Recurso ausente, contrato não atendido, valor incorreto ou falha inesperada do serviço | Conta como instância válida aplicável e não como aprovado | | NA | O modelo não oferece suporte nativo a essa capacidade, com evidência suficiente e registro prévio | Excluído do denominador aplicável | | UNTESTED | Teste não executado | Mantém status restrito ou indisponível quando o registro obrigatório é insuficiente | | INVALID | Testador, fixture ou evidência de configuração inválidos, sem atribuição ao serviço avaliado | Não conta como falha funcional; registra denominador válido e restrições de evidência | | UNOBSERVED | Etapa anterior interrompida, sem observação subsequente | Não conta como aprovado e mantém o status de observação ausente | A pontuação de capacidade nativa é calculada com base nos registros válidos aplicáveis. Quando há registros INVALID ou UNOBSERVED, as restrições de cobertura e de denominador também são divulgadas; quando faltam evidências para verificações obrigatórias, a pontuação de compatibilidade estrita fica indisponível. Capacidades com suporte nativo no modelo e não oferecidas pelo serviço são registradas como FAIL e não podem ser classificadas como NA. ### Capacidade nativa e compatibilidade de interface | Indicador | Nome completo em inglês e significado | Base da verificação | Uso | | - | - | - | - | | `F_native` | Native Functionality Score, pontuação de suporte nativo a funcionalidades | Interpreta campos, estrutura de streaming e configuração de requisição necessária conforme a documentação do provedor, verificando a existência e a semântica correta da funcionalidade | Usada como `A_F` da pontuação principal | | `F_strict` | Strict Interface Compatibility Score, pontuação de compatibilidade estrita de interface | Verifica campos, estrutura de eventos e comportamento de retorno diretamente conforme as convenções de interface da AIHubMix | Diagnóstico de compatibilidade de interface reportado separadamente | Quando um campo existe e sua posição ou nomenclatura está de acordo com a documentação do provedor, a verificação de capacidade nativa o interpreta conforme sua estrutura real. Campos totalmente ausentes, valores incorretos ou contraditórios são julgados conforme o resultado real da verificação. A camada de adaptação preserva os campos originais e a base de mapeamento, sem presumir que valores desconhecidos indiquem funcionalidade aprovada. `F_native` e `F_strict` são reportados separadamente e não podem ser usados alternadamente na pontuação principal de uma mesma tabela de comparação. A proporção de acertos efetivos em cache entra em [Velocidade de resposta](#speed), e a exatidão da cobrança é verificada separadamente. ## Velocidade de resposta A velocidade de resposta P é composta pelo desempenho de resposta do conteúdo e pelos acertos efetivos em cache. A pontuação principal usa `K_native`. ### Carga e amostragem O perfil sem raciocínio I (Non-thinking Profile, perfil de carga sem raciocínio) e o perfil com raciocínio T (Thinking Profile, perfil de carga com raciocínio) são medidos e reportados separadamente. I e T são identificadores de perfil de carga; o perfil I exige suporte nativo do modelo ao modo sem raciocínio, e o perfil T registra `effort`, orçamento de raciocínio e orçamento de saída. C1 (Concurrency 1, concorrência 1) e C10 (Concurrency 10, concorrência 10) indicam o número de requisições executadas simultaneamente. Aqui, C indica Concurrency e é usado separadamente da camada C de completude das evidências. | Item de configuração | Convenção de medição | | - | - | | Entrada | 10,000 ± 2% token, medidos com `o200k_base`; um prefixo exclusivo é adicionado ao início da entrada para controlar acertos de cache não intencionais | | Saída | 1,000 a 1,200 tokens de resposta, incluindo pontos de verificação fixos | | Tempo limite | 300 segundos, idêntico no mesmo grupo de comparação | | Concorrência única C1 | 90 execuções, 3 janelas × 30 | | Concorrência 10 C10 | 90 execuções, 3 janelas × 30 | | Subteste de cache | 30 execuções, 3 janelas × 2 faixas de 8k/32k × 5 execuções | | Isolamento | Qualidade das respostas e velocidade de resposta executadas separadamente, com janela de medição independente para a velocidade de resposta | O teste de concorrência usa um mecanismo de reposição em malha fechada: a cada requisição concluída, outra é enviada. C10 representa o resultado observado sob essa carga e não constitui uma curva completa de capacidade. ### Cronometragem e saída válida | Indicador | Nome completo em inglês | Definição e uso | | - | - | - | | Ponto de início da medição | Measurement Start Time | Momento em que a requisição formal começa a ser gravada após a conclusão da conexão pré-estabelecida; o tempo de inicialização a frio da conexão é registrado separadamente | | TTFT | Time to First Token | Tempo de espera até o primeiro token de raciocínio real, conteúdo ou carga de parâmetros de ferramenta; eventos de papel vazio e heartbeat não são contados, e o valor é um indicador bruto | | TTFA | Time to First Answer | Tempo de espera até o primeiro fragmento de conteúdo final não vazio, incluindo o tempo de raciocínio anterior, usado na pontuação de latência | | TPOT | Time per Output Token | Tempo médio por token na fase de geração do conteúdo, calculado a partir dos tempos do primeiro e do último fragmento de conteúdo e das contagens de tokens correspondentes | | goodput | Valid-Output Throughput | Taxa de tokens de resposta válidos que atendem aos requisitos de correção e completude durante todo o tempo de relógio do C10 | Quando o conteúdo é retornado de uma só vez em bloco, o TPOT é registrado como inválido e nenhuma taxa por token é derivada dele. A estatística de pontuação usa o P50 com tratamento de falhas (50th Percentile, 50º percentil, ou mediana); o P95 empírico (95th Percentile, 95º percentil) e a variação entre janelas são reportados separadamente, e a amostra de 90 execuções por faixa não sustenta conclusões sobre o P99 (99th Percentile, 99º percentil). Aqui, P indica Percentile e é usado separadamente da dimensão P de velocidade de resposta. ### Fórmulas de pontuação Os nomes de funções e símbolos de subpontuação desta seção são notações de cálculo deste método e têm os seguintes significados: | Código | Nome em inglês | Significado | | - | - | - | | `S(x; τ)` | Latency Score Function | Função que converte o tempo de espera x em subpontuação de latência, com τ como escala de latência | | `L(x; t, k)` | Lower-is-Better Score Function | Função de pontuação em que valores menores são melhores; nesta seção, usada para TPOT, com t como meta de pontuação máxima e k como multiplicador de faixa | | `H(x; t)` | Higher-is-Better Score Function | Função de pontuação em que valores maiores são melhores; nesta seção, usada para throughput efetivo, com t como meta de pontuação máxima | | `l_ttfa` | Answer Latency Subscore | Subpontuação de latência da primeira resposta de conteúdo, correspondente ao menor valor entre C1 e C10 | | `l_tpot` | Output Token Time Subscore | Subpontuação de tempo por token de conteúdo, correspondente ao menor valor entre C1 e C10 | | `P_response` | Response Performance Score | Subpontuação de desempenho de resposta, composta por latência, tempo por token e throughput efetivo, sem a subpontuação de cache | | `P50_TTFA_C1`, `P50_TTFA_C10` | Median Time to First Answer at Concurrency 1 / 10 | Mediana de TTFA com tratamento de falhas em concorrência 1 ou 10 | | `P50_TPOT_C1`, `P50_TPOT_C10` | Median Time per Output Token at Concurrency 1 / 10 | Mediana de TPOT com tratamento de falhas em concorrência 1 ou 10 | `A_P` é a pontuação absoluta de velocidade de resposta, incluindo desempenho de resposta e subpontuação de cache; `D_P` é a pontuação da dimensão de velocidade de resposta após a referência relativa e a composição de evidências, que participa da pontuação total. A seguir, `clip` limita o valor entre 0 e 1, `ln` é o logaritmo natural, `min` indica o menor valor e Σ indica somatório. Os parâmetros τ, b, c e k das fórmulas são definidos na tabela de parâmetros logo após as fórmulas: ```text Desempenho absoluto da velocidade de resposta theme={null} S(x; τ) = 100 × τ / (τ + x) L(x; t, k) = 100 × clip[ln(k·t/x) / ln(k)] H(x; t) = 100 × clip[ln(x / (0.05·t)) / ln(20)] l_ttfa = min(S(P50_TTFA_C1; τ), S(P50_TTFA_C10; τ)) l_tpot = min(L(P50_TPOT_C1; b, 10), L(P50_TPOT_C10; b, 10)) goodput = Σ requisições válidas min(tokens de resposta, 1000) / Σ duração de relógio da janela C10 P_response = 0.35 × l_ttfa + 0.35 × l_tpot + 0.30 × H(goodput; c) A_P = 0.80 × P_response + 0.20 × K_native ``` | Parâmetro | Nome em inglês | Valor | Significado | | - | - | - | - | | τ | Latency Scale | 2 segundos | TTFA em que a subpontuação de latência atinge 50 | | b | Target Time per Output Token | 5 ms/token | Meta de pontuação máxima do TPOT; 100 ao atingir ou ficar abaixo desse valor | | c | Target Valid-Output Throughput | 1,200 token/s | Meta de pontuação máxima do throughput efetivo em C10; 100 ao atingir ou superar esse valor | | k | TPOT Range Multiplier | 10 | Multiplicador de faixa do mapeamento logarítmico do TPOT | As metas acima se aplicam à carga definida neste padrão e não representam limites universais para todos os modelos e todas as cargas de trabalho. | TTFA | 0 segundos | 1 segundo | 2 segundos | 4 segundos | 10 segundos | | - | - | - | - | - | - | | Subpontuação de latência | 100 | 66.7 | 50 | 33.3 | 16.7 | ### Saídas inválidas e isolamento da medição Saídas com comprimento incorreto, ponto de verificação errado, degeneração em loop, erro no fluxo, término anormal ou truncamento são consideradas inválidas, mas ainda contam para a carga e o tempo. Antes do cálculo do P50, aplicam-se os seguintes tratamentos: * TTFA é considerado infinito positivo, com pontuação de latência 0. * TPOT é considerado `10b`, ou 50 ms/token. * A contribuição de saída válida para o goodput é 0, e o tempo permanece na janela C10 correspondente. * O tempo medido bruto é preservado separadamente e não é substituído pelo valor de tratamento da pontuação. O número de requisições válidas, o número planejado e a taxa de saída válida são reportados simultaneamente. Os resultados de desempenho incluem o impacto das falhas de serviço na entrega e não podem ser interpretados apenas pela latência das requisições bem-sucedidas. ## Acertos em cache A subpontuação de cache K (Cache Hit Score, subpontuação de acertos efetivos em cache) mede a proporção de tokens de um prefixo reutilizável que são efetivamente reportados como leitura de cache. Para cada comprimento, os volumes de leitura e reutilizáveis das requisições quentes são agregados primeiro; em seguida, os dois comprimentos, 8k e 32k, são agregados com pesos iguais. | Código | Nome completo em inglês | Significado | | - | - | - | | `K_length` | Length-Specific Cache Hit Score | Subpontuação de acertos efetivos em cache para uma faixa de comprimento de prefixo | | `K_8k` | 8k-Prefix Cache Hit Score | Subpontuação de acertos efetivos em cache para prefixo de cerca de 8k tokens | | `K_32k` | 32k-Prefix Cache Hit Score | Subpontuação de acertos efetivos em cache para prefixo de cerca de 32k tokens | | `cache_read_native_tokens` | Cache-Read Native Token Count | Número de tokens nativos lidos do cache efetivamente reportado pelas requisições quentes, sem incluir gravações em cache | | `expected_reusable_native_tokens` | Expected Reusable Native Token Count | Número de tokens nativos do prefixo que deveriam ser reutilizáveis segundo as regras, usado como denominador da taxa de acertos | Aqui, `native_tokens` indica tokens medidos pelo tokenizer nativo especificado e é interpretado separadamente do `native` em `K_native`, que indica configuração conforme a documentação do provedor. ```text Subpontuação de acertos em cache theme={null} K_length = 100 × Σ requisições quentes cache_read_native_tokens / Σ requisições quentes expected_reusable_native_tokens K = (K_8k + K_32k) / 2 ``` A taxa de acertos ponderada por tokens após combinar comprimentos diferentes pode ser usada como indicador de diagnóstico e não substitui o K de pesos iguais da pontuação principal. ### Sequência de teste e denominador Cada grupo usa um prefixo longo fixo e novas perguntas variáveis, totalizando 5 requisições: 1. A primeira requisição grava o cache; um identificador aleatório exclusivo é adicionado ao início do prefixo para isolar os diferentes grupos de teste. 2. As requisições 2 a 4 mantêm o prefixo idêntico byte a byte e usam perguntas curtas diferentes no final, enviadas 5, 30 e 120 segundos após a conclusão da requisição anterior. 3. A quinta requisição usa um novo prefixo totalmente independente como controle a frio. As três janelas cobrem as duas faixas de aproximadamente 8k e 32k, totalizando 30 requisições. Apenas as requisições 2 a 4 entram na pontuação de acertos a quente, com 9 oportunidades de requisição quente por comprimento. A primeira gravação e o controle a frio são verificados separadamente. O denominador usa o número registrado de tokens nativos do prefixo que deveriam ser reutilizáveis, com base no tokenizer, template e regras de cache especificados. Novas perguntas e partes não reutilizáveis são identificadas separadamente; o denominador não é substituído pelo total de tokens de entrada, pelo volume efetivamente acertado ou pela contagem de `o200k_base`. Os volumes de leitura reportados por bloco mantêm o valor original e o tamanho do bloco. A pontuação principal usa **`K_native`**: a configuração necessária para habilitar o cache conforme a documentação do provedor, sendo os campos de afinidade de sessão necessários parte da adaptação de integração. **`K_default`** registra o resultado da medição uniforme sem configuração de afinidade de sessão, como diagnóstico da configuração padrão. Todos os provedores seguem o mesmo princípio de decisão de configuração, e o relatório preserva a configuração específica. ### Situações anormais e não observáveis | Situação | Tratamento | | - | - | | Denominador reutilizável desconhecido | K fica indisponível e não recebe 0 | | Requisição bem-sucedida sem campo de leitura de cache | Registrado por padrão como não observável; interpretado como 0 somente quando a documentação declarar explicitamente a omissão do campo em caso de zero acertos, houver registro prévio e as evidências forem consistentes | | Volume de leitura maior que o denominador ou campos conflitantes | Registram-se a anomalia e o valor original, sem truncar em 100% | | Controle a frio bem-sucedido com leitura 0 | Pode servir como evidência de controle a frio; controles não concluídos mantêm status de restrição | | Requisição quente com falha e denominador determinável | A leitura entra como 0 e o registro de falha é listado separadamente | | Modelo com suporte nativo a cache, não oferecido pelo serviço | K = 0 | | Modelo sem suporte nativo a cache, definido previamente | Faixa No-cache listada separadamente, `A_P = P_response`, reportada em separado da faixa com cache | | Medição de acertos não suportada | K e P são marcados como indisponíveis e o peso do cache não é transferido | O `usage` só confirma o volume de leitura de cache reportado pela interface. Os custos reais só podem ser marcados como verificados após conferência; acertos em cache não equivalem a gratuidade nem garantem redução do custo total. ## Estabilidade do serviço A estabilidade do serviço R mede a proporção de conclusão válida na primeira execução de um conjunto fixo de requisições, sem usar novas tentativas automáticas ou fallback entre provedores de modelos na pontuação: ```text Desempenho absoluto da estabilidade do serviço theme={null} A_R = 100 × conclusões válidas na primeira execução / oportunidades planejadas válidas Oportunidades do plano completo = 300 ``` ### Conjunto de teste e condições de sucesso O teste tem 300 oportunidades, distribuídas em 3 janelas, com 100 em cada. Cada conjunto de 100 usa a mesma composição de tarefas: 40 de texto curto, 30 de entrada longa de cerca de 10k, 20 de chamada de protocolo de ferramentas e 10 de chamada única com histórico multirodada. As tarefas de ferramentas usam um histórico válido pré-construído para manter estável o denominador de pontuação. Por padrão, a concorrência é única, e a taxa de requisições fica dentro das cotas de RPM e TPM verificadas. Esse conjunto é executado de forma independente e não mistura questões de qualidade das respostas, casos funcionais negativos, novas tentativas de diagnóstico, aquecimento ou requisições de carga de estresse. O sucesso na primeira execução exige simultaneamente: * status HTTP conforme o esperado e estrutura de resposta e sequência de eventos válidas. * conteúdo ou carga de ferramenta não vazio e encerramento normal. * ausência de erros no fluxo, truncamento inesperado ou campos obrigatórios ausentes. * campos de `usage` exigidos completos e interpretados conforme a estrutura da interface correspondente. * conclusão dentro do prazo de 300 segundos. HTTP 200 não basta para determinar sucesso isoladamente; erros de resposta da tarefa e falhas do serviço são contabilizados separadamente. ### Falhas, registros inválidos e intervalos 429 dentro da cota, erros do servidor, falhas de conexão, tempos limite, retornos vazios, interrupções de fluxo e truncamentos anormais contam como falha. Quando uma falha do provedor de modelos impedir o envio de uma requisição planejada, ela conta como falha e o motivo é registrado. Anomalias no ambiente de teste ou no testador são marcadas como INVALID, sem atribuição ao serviço avaliado, preservando simultaneamente o número de oportunidades válidas e as restrições de cobertura. Requisições de diagnóstico são registradas separadamente e não substituem o resultado da primeira execução. A taxa de sucesso é reportada com intervalo bilateral de 95% de Clopper–Pearson. A taxa de sucesso observada de 300/300 é 100%, com limite inferior do intervalo de aproximadamente 98.78%, o que ainda não prova uma taxa de sucesso de 100% em longo prazo. A distribuição de falhas e a maior sequência contínua de falhas são registradas por janela e categoria de tarefa. ## Escala do teste e comparabilidade ### Tamanho da amostra A seguir está a escala planejada do AF Full no AF Suite: | Item | Escala planejada por provedor | Composição | | - | - | - | | Qualidade das respostas | 4,250 instâncias | BFCL 1,500, HLE 2,500, AA-LCR 250 | | Suporte a funcionalidades | 180 verificações | 60 casos × 3 janelas | | Velocidade de resposta | 180 requisições | C1/C10 com 90 cada, distribuídas em 3 janelas | | Cache | 30 requisições | 3 janelas × dois comprimentos de prefixo × 5 execuções | | Estabilidade do serviço | 300 oportunidades | 3 janelas × 100 | Os números de instâncias de tarefa, requisições de API e requisições ao juiz são contabilizados separadamente; tarefas de ferramentas em vários estágios e repetições dentro de um caso podem corresponder a requisições adicionais. ### Condições de execução * Um mesmo grupo de comparação usa o mesmo conjunto de questões, rodadas, tempo limite, temperatura, orçamento de saída, tratamento de falhas e fórmulas de pontuação. * Usa o mesmo cliente, região de rede e estratégia de conexão, e registra o nível de serviço da conta, os horários reais de início e fim e a ordem de execução. * O teste completo usa 3 janelas com intervalo mínimo de 60 minutos; a qualidade das respostas e a velocidade de resposta são executadas separadamente. * ID do modelo, autenticação, campos necessários, formato de streaming, mapeamento de uso, semântica de cache e base do tokenizer formam o registro de adaptação. * A adaptação de integração é registrada e validada antes da amostragem, e a mesma regra se aplica a todos os provedores de modelos elegíveis. * A visão principal de pontuação usa `F_native` e `K_native`; diagnósticos de compatibilidade e de configuração padrão são reportados separadamente. * Os resultados da primeira execução são preservados de forma contínua, e os registros planejados, efetivos, filtrados, com falha, inválidos e não observados são conferidos separadamente. Os testes são executados dentro das cotas, permissões e limites de custo aprovados. Quando condições necessárias não são atendidas, o resultado mantém o status restrito, incompleto ou indisponível, sem renormalizar os itens restantes. ## Fontes dos conjuntos de dados e registro dos resultados ### Fontes dos conjuntos de dados A qualidade das respostas usa um conjunto de questões derivado e versionado, preservando a origem, registros de amostragem e informações de verificação de integridade. O conjunto de questões de qualidade das respostas do AF Full contém 775 questões distintas, com os seguintes snapshots de origem: | Categoria | Snapshot da fonte | Registro de versão | Licença e limites de uso | | - | - | - | - | | BFCL | [Dados e verificador do Berkeley Function Calling Leaderboard](https://github.com/ShishirPatil/gorilla/tree/6ea57973c7a6097fd7c5915698c54c17c5b1b6c8/berkeley-function-call-leaderboard) | `6ea57973c7a6` | Repositório de origem Apache-2.0; esta avaliação usa um conjunto de questões derivado e uma adaptação do verificador | | HLE | [Snapshot de espelho de texto](https://huggingface.co/datasets/macabdul9/hle_text_only/tree/e3e9cb5a550ec7de645fac553b0e2768d30a03ee); [conjunto de dados oficial](https://huggingface.co/datasets/cais/hle) | Espelho `e3e9cb5a550e` | Origem registrada como MIT; equivalência byte a byte com a versão oficial atual não verificada | | AA-LCR | [Snapshot de dados e documentação do Artificial Analysis AA-LCR](https://huggingface.co/datasets/ArtificialAnalysis/AA-LCR/tree/9a77ef56b717057ade24ceab4d273712a0b4f19e) | `9a77ef56b717` | Repositório do conjunto de dados Apache-2.0; direitos de terceiros em documentos citados permanecem com seus titulares | O BFCL é amostrado por cotas de categoria; HLE e AA-LCR são amostrados por proporção estratificada, garantindo cobertura mínima em cada estrato. A amostragem usa semente especificada e ordenação SHA-256, e a versão do conjunto de questões, a lista de filtragem e o protocolo de pontuação acompanham o registro do resultado. Os links acima servem para verificar as fontes originais e não equivalem a um pacote de avaliação completo que reproduza diretamente as pontuações AF. Dados restritos não são redistribuídos neste documento; a licença específica segue a fonte correspondente. ### Registro e verificação dos resultados Os relatórios de provedores são denominados uniformemente AF Profile e registram as seguintes informações de avaliação: | Categoria de registro | Conteúdo necessário | | - | - | | Identidade da avaliação | Versão do padrão e do conjunto de questões, provedor de modelos, versão exata do modelo e serviço de referência oficial | | Condições de medição | Configuração de raciocínio, nível da conta, região, período, tempo limite, concorrência e parâmetros de desempenho | | Base da adaptação | Data de consulta da documentação, campos necessários, estrutura de streaming, interpretação de uso e configuração de cache | | Cobertura de amostras | Números planejados e efetivos, denominador de pontuação, itens filtrados, com falha, inválidos e não observados | | Base da pontuação | Respostas de referência, configuração do verificador ou juiz, status de pontuação e avaliação de viés | | Medições brutas | Requisições e respostas anonimizadas, horários dos eventos, status, motivos de término e `usage` bruto | | Resultados agregados | Entradas das camadas A/B/C, quatro pontuações D, pontuação total, intervalos das dimensões e valores não arredondados | | Indicadores de diagnóstico | `F_strict`, `K_default`, taxa de validade, categorias de erro e restrições de aplicação correspondentes | Sucesso do serviço, correção da tarefa e validade da saída são marcados separadamente. Casos negativos não entram na pontuação de estabilidade do serviço, leituras e gravações em cache são medidas separadamente, e o status de verificação de custos estimados e reais é registrado separadamente. Antes da exibição externa, chaves, identificadores de usuário e conteúdo sensível são removidos; valores incluem unidades, e valores ausentes mantêm seu status. ## Dados de referência e exemplos de cálculo A seguir, os resultados de cinco serviços do DeepSeek V4.1 Flash 1017 ilustram o método de cálculo. A pontuação principal usa `F_native` e `K_native`. Os valores são exibidos com duas casas decimais, e os cálculos usam os valores intermediários salvos no arquivo de resultados. > [!NOTE] > > Esta seção apresenta resultados de referência (PROVISIONAL). As evidências de registro prévio da coleta e da adaptação estão incompletas, e os resultados não podem ser usados como resultado oficial de AF Full do AIHubMix Fidelitas Standard. A qualidade das respostas contabiliza 4,240 instâncias por provedor, com outras 10 instâncias filtradas. Os juízes de HLE/AA-LCR pertencem à mesma família DeepSeek dos modelos avaliados, e as evidências de calibração independente são insuficientes. Os resultados se limitam à configuração e ao escopo de observação registrados. ### Desempenho absoluto e subpontuações de cache Na tabela abaixo, Q, F, P e R são valores de desempenho absoluto A e **não são diretamente as quatro pontuações de dimensão exibidas na pontuação total**. K é a subpontuação de cache dentro de P. | Provedor de modelos | A\_Q | F\_native (A\_F) | A\_P | K\_native | A\_R | | - | - | - | - | - | - | | ByteDance | 42.05 | 74.98 | 84.37 | 93.83 | 100.00 | | Baidu | 38.00 | 88.39 | 37.77 | 68.85 | 100.00 | | Alibaba Cloud | 41.75 | 89.78 | 88.58 | 99.37 | 100.00 | | Referência oficial da DeepSeek | 42.45 | 94.00 | 86.14 | 98.38 | 100.00 | | Fireworks | 41.42 | 71.78 | 79.51 | 60.68 | 100.00 | * O conjunto de estabilidade do serviço foi 300/300 nos cinco provedores; falhas de serviço de outros conjuntos ainda contam na dimensão a que pertencem e não podem ser substituídas pelo resultado do conjunto R. * O `K_native` do Fireworks usa a configuração de afinidade de sessão definida na documentação; os demais serviços são medidos com a configuração exigida por sua respectiva documentação. * O K do Baidu aplica a regra de amostra que interpreta como 0 os campos omitidos em caso de zero acertos, e as evidências de registro prévio correspondentes estão incompletas; há registros incompletos no controle a frio de 8k, e K mantém o status de referência. * O `F_strict` da DeepSeek está indisponível devido a 27 registros INVALID; o `F_native` é calculado com os registros válidos aplicáveis. ### Composição da dimensão de suporte a funcionalidades Usando a Alibaba Cloud como exemplo, a pontuação absoluta de suporte a funcionalidades é `A_F = 89.777778`, a pontuação absoluta do mesmo item na referência oficial é 94, a escala de diferença é `δ_F = 15` e a completude das evidências é `C_F = 100`. Primeiro calcula-se a pontuação de referência relativa `B_F`; em seguida, compõe-se a pontuação da dimensão `D_F`: ```text Referência relativa e pontuação da dimensão de funcionalidades theme={null} B_F = 50 + 50 × clip((89.777778 − 94) / 15, −1, 1) ≈ 35.925926 D_F = 0.65 × 89.777778 + 0.20 × 35.925926 + 0.15 × 100 ≈ 80.540741 ``` 89.78 representa o desempenho absoluto da funcionalidade nativa, e 80.54 representa a pontuação exibida da dimensão de funcionalidades que participa do cálculo da pontuação total. ### Pontuação de estabilidade do serviço da referência oficial O conjunto R da referência oficial é 300/300, a pontuação absoluta de estabilidade do serviço é `A_R = 100`, a pontuação de referência relativa é `B_R = 50` e a completude das evidências é `C_R = 100`: ```text Composição da dimensão de estabilidade do serviço theme={null} D_R = 0.65 × 100 + 0.20 × 50 + 0.15 × 100 = 90 ``` 100% é a taxa de sucesso observada do conjunto de estabilidade do serviço nesta rodada, e 90 é a pontuação exibida da dimensão após a composição em três camadas. ### Pontuações exibidas das dimensões e pontuação total A tabela abaixo usa valores D e corresponde à fórmula da pontuação total. A tabela segue a ordem de exibição dos serviços e não está ordenada por pontuação. | Provedor de modelos | Qualidade das respostas D\_Q | Suporte a funcionalidades D\_F | Velocidade de resposta D\_P | Estabilidade do serviço D\_R | Pontuação total | | - | - | - | - | - | - | | ByteDance | 50.83 | 62.24 | 76.57 | 88.50 | **66.37** | | Baidu | 36.70 | 75.71 | 36.55 | 87.00 | **56.48** | | Alibaba Cloud | 52.13 | 80.54 | 85.01 | 90.00 | **73.38** | | Referência oficial da DeepSeek | 52.59 | 84.60 | 80.99 | 90.00 | **73.76** | | Fireworks | 50.42 | 60.16 | 68.55 | 88.50 | **64.10** | Usando a referência oficial como exemplo: ```text Cálculo da pontuação total theme={null} Overall = 0.35 × 52.594340 + 0.25 × 84.600000 + 0.20 × 80.990116 + 0.20 × 90.000000 ≈ 73.76 ``` ### Indicadores de diagnóstico independentes | Provedor de modelos | F\_strict | K\_default | | - | - | - | | ByteDance | 56.83 | 93.83 | | Baidu | 66.17 | 68.85 | | Alibaba Cloud | 89.78 | 99.37 | | Referência oficial da DeepSeek | Indisponível | 98.38 | | Fireworks | 71.78 | 11.06 | `F_strict` expressa a compatibilidade de interface, e `K_default` expressa o resultado de cache da configuração uniforme sem afinidade de sessão. Nenhuma das duas colunas substitui as entradas da pontuação principal. Nos intervalos de diferença da qualidade das respostas em relação à referência oficial, os intervalos de 95% da ByteDance, da Alibaba Cloud e da Fireworks incluem 0, com o `B_Q = 50` correspondente. A diferença do Baidu é de aproximadamente −4.46 pontos percentuais, com intervalo de 95% de aproximadamente −5.78 a −3.16 pontos percentuais. Essa conclusão se limita ao conjunto de tarefas e às condições de observação desta rodada e não se estende a uma conclusão de significância estatística para a pontuação total. ## Padrão e condições de aplicação Identificador do padrão: **AIHubMix Fidelitas Standard v2.0**. Os resultados registram simultaneamente AF Suite, configuração de adaptação, protocolo de pontuação e condições de medição. Resultados com configurações ou critérios estatísticos diferentes são interpretados separadamente. As quatro pontuações nas páginas de modelos são valores D; as taxas de acerto, taxas de aprovação funcional, latência, proporção de cache e taxa de sucesso na primeira execução nos relatórios são os indicadores brutos correspondentes ou valores A. A pontuação total serve para exibição agregada, e as decisões específicas de integração se baseiam nos resultados das dimensões, nos requisitos funcionais e nas condições de evidência. Documentos relacionados: [Escolher um modelo](https://docs.aihubmix.com/pt/guides/choose-models.md) · [Detalhes e comparação de modelos](https://docs.aihubmix.com/pt/guides/model-details.md) Data do documento: 2026-11-05 This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.