AIHubMix Fidelitas Standard v2.0

AIHubMix Fidelitas mide el rendimiento de entrega del mismo modelo en los servicios de distintos proveedores de modelos y evalúa por separado la corrección de los resultados de las tareas, la disponibilidad funcional, el rendimiento de respuesta y la finalización de la primera solicitud. La puntuación total se presenta junto con las cuatro puntuaciones de dimensión para comparar el rendimiento del servicio de un mismo modelo en las condiciones de prueba especificadas. Este documento aplica AIHubMix Fidelitas Standard v2.0, con versión de proyecto AF v2.0. La puntuación principal utiliza los resultados de medición del soporte de funciones y de la caché obtenidos con la configuración indicada en la documentación del proveedor; la compatibilidad de interfaz y los resultados de caché con la configuración predeterminada se reportan como indicadores de diagnóstico.

Alcance de la puntuación y guía de lectura

Elemento de puntuación	Código	Peso	Contenido medido
Calidad de las respuestas	Q (Quality)	35%	Corrección de los resultados en tareas de llamada a herramientas, de conocimiento y razonamiento, y de comprensión de textos largos
Soporte de funciones	F (Functionality)	25%	Disponibilidad funcional de streaming, herramientas, salida estructurada, parámetros, contexto, respuestas de error y medición del uso
Velocidad de respuesta	P (Performance)	20%	Latencia de la primera respuesta de contenido, velocidad de generación, rendimiento efectivo concurrente y aciertos efectivos de caché
Estabilidad del servicio	R (Reliability)	20%	Proporción de solicitudes de un conjunto fijo que se completan de forma válida en la primera ejecución

La unidad de puntuación independiente es “proveedor de modelos × versión del modelo”, es decir, el servicio de una versión de modelo concreta ofrecido por un proveedor de modelos. Cada unidad forma un conjunto de cuatro puntuaciones de dimensión y una puntuación total bajo el lote de evaluación y la configuración especificados. El modo de razonamiento, los parámetros de la solicitud, el nivel de servicio de la cuenta, la región de prueba y el periodo de observación son condiciones de medición y se registran junto con los resultados. Los resultados obtenidos en condiciones distintas se etiquetan por separado y no se combinan directamente. Cuando no es posible verificar la versión del modelo, la región o el nivel de servicio, se indica el estado no verificado correspondiente y no se presume confirmado. Las evaluaciones se ejecutan a través de la API de AIHubMix y los resultados describen el rendimiento observado real con esta modalidad de acceso. El servicio de referencia oficial también se mide a través de la API de AIHubMix y no se presenta como una medición directa e independiente de la API oficial. Un mismo grupo de comparación utiliza el mismo conjunto de preguntas, rondas, tiempos de espera, presupuesto de solicitudes, criterios de fallo y métodos estadísticos. Los campos de solicitud necesarios, la estructura de streaming y los campos de uso que exige la documentación del proveedor son gestionados por la capa de adaptación de acceso (adapter), y el objetivo de medición se mantiene constante. Este método no se utiliza para establecer clasificaciones de capacidad intelectual entre modelos y la identidad del proveedor de modelos no otorga puntuación adicional.

Estados de la puntuación

Estado	Significado
Oficial	Se completaron el registro de la prueba, el muestreo, la calificación y la verificación de la evidencia conforme al estándar correspondiente
Resultado de referencia (PROVISIONAL)	Permite obtener un resultado calculado, pero el muestreo, la calificación, el registro de adaptación o la evidencia presentan limitaciones aplicables
No disponible (UNAVAILABLE)	Falta una calificación necesaria, un denominador o una referencia, por lo que no se asigna un valor numérico
No comparable	La configuración del modelo, las condiciones de observación o las vistas de resultados no son coherentes y no se incluyen en comparaciones bajo el mismo criterio

Los valores faltantes y las puntuaciones de 0 se tratan por separado. Cuando el servicio falla de forma explícita o no ofrece una capacidad obligatoria, se contabiliza como fallo según la regla correspondiente; cuando falta una medición, el denominador es desconocido o la evidencia es insuficiente, se conserva el estado correspondiente. Si una dimensión no está disponible, la puntuación total también se marca como no disponible y su peso no se redistribuye entre las demás dimensiones.

Interpretación de los resultados

Los indicadores brutos se convierten en el rendimiento absoluto A mediante la fórmula de puntuación y, tras la síntesis con la referencia relativa y la evidencia, se obtiene la puntuación compuesta de dimensión D. La puntuación total utiliza D y no pondera directamente las tasas brutas de corrección, las tasas de aprobación funcional ni las tasas de éxito del servicio.
La puntuación refleja el rendimiento con un conjunto de preguntas, una carga, una región, una configuración y una ventana de observación concretos, y las condiciones aplicables se registran junto con los resultados.
La precisión de presentación no representa la capacidad de discriminación estadística. Las diferencias en la calidad de las respuestas se interpretan junto con los intervalos estadísticos pareados y no se determina cuál es mejor únicamente por diferencias decimales.
La puntuación total es un índice agregado; no constituye una certificación ni proporciona intervalos de confianza. Las conclusiones estadísticas se basan en la evidencia de cada dimensión concreta.
La estabilidad del servicio reporta al mismo tiempo el número de éxitos iniciales, el número de oportunidades planificadas y el intervalo bilateral del 95%, y no debe interpretarse directamente como un SLA a largo plazo.

Cuando una revisión confirma una identidad de modelo incorrecta, un recorte silencioso de la entrada, una filtración de contenido sensible, un daño grave del protocolo o una anomalía de facturación, el resultado se marca por separado como “no supera la admisión” y se conservan la evidencia de reproducción y las limitaciones de uso. Las puntuaciones de dimensión y la puntuación total no compensan esta limitación.

Puntuación total y composición de dimensiones

Fórmula de la puntuación total

La puntuación total se calcula como la suma ponderada de las cuatro puntuaciones compuestas de dimensión. D_Q, D_F, D_P y D_R representan, respectivamente, las puntuaciones compuestas de calidad de las respuestas, soporte de funciones, velocidad de respuesta y estabilidad del servicio.

Puntuación total

Overall = 0.35 × D_Q + 0.25 × D_F + 0.20 × D_P + 0.20 × D_R

Las cuatro puntuaciones compuestas de dimensión utilizan una escala de 0–100. La puntuación total resume el resultado global y las cuatro puntuaciones de dimensión permiten identificar diferencias concretas.

Composición en tres capas

Cada puntuación compuesta de dimensión D se calcula como una suma ponderada del rendimiento absoluto A, del rendimiento relativo a la referencia oficial B y de la integridad de la evidencia C.

Puntuación de dimensión

D = 0.65 × A + 0.20 × B + 0.15 × C

Capa de entrada	Peso	Definición
A: rendimiento absoluto	65%	Resultado de medición real obtenido con los métodos de prueba y estadísticos especificados
B: relativo a la referencia oficial	20%	Diferencia del rendimiento absoluto de la misma dimensión respecto del servicio de referencia oficial
C: integridad de la evidencia	15%	Grado en que la cobertura de muestras, la coherencia de las observaciones y la evidencia de medición respaldan este resultado

A, B y C son símbolos de la capa de cálculo y no indican un nivel de acceso. El rendimiento absoluto utiliza la fórmula especificada; no se asigna 100 al servicio más rápido o con mayor puntuación del lote ni se renormaliza por lote. El texto antes del guion bajo indica la capa de cálculo y el que sigue, la dimensión de puntuación. Por ejemplo, A_F es la puntuación de soporte de funciones de la capa de rendimiento absoluto y D_F es la puntuación de soporte de funciones tras la composición de tres capas. La puntuación principal y los valores de diagnóstico utilizan además los siguientes sufijos de configuración:

Código	Nombre completo en inglés	Significado y uso
`F_native`	Native Functionality Score	Puntuación de soporte funcional nativo obtenida al aplicar la configuración y la interpretación indicadas en la documentación del proveedor, utilizada como `A_F` de la puntuación principal
`F_strict`	Strict Interface Compatibility Score	Puntuación de compatibilidad estricta obtenida al comprobar directamente las convenciones de interfaz de AIHubMix, reportada como diagnóstico independiente
`K`	Cache Hit Score	Subpuntuación de aciertos efectivos de caché, incluida en el rendimiento absoluto de la velocidad de respuesta
`K_native`	Native Cache Hit Score	Subpuntuación de caché medida con la configuración requerida por la documentación del proveedor, utilizada en la puntuación principal
`K_default`	Default-Configuration Cache Hit Score	Subpuntuación de caché medida sin configuración de afinidad de sesión, reportada como diagnóstico independiente

native indica configuración conforme a la documentación del proveedor, strict indica comprobación estricta de la interfaz y default indica la configuración predeterminada definida en este documento. K es el símbolo de caché de este método y no representa Quality. La puntuación principal utiliza de forma uniforme F_native y K_native; los valores de diagnóstico no se mezclan con la puntuación principal.

Referencia oficial relativa B

A_official es la puntuación de rendimiento absoluto del servicio de referencia oficial en la dimensión actual; su puntuación relativa a la referencia B_official se fija en 50.

Capa relativa a la referencia

B_official = 50
B = 50 + 50 × clip((A − A_official) / δ, −1, 1)

clip(x, −1, 1) es una función de limitación que restringe x al intervalo de −1 a 1. El parámetro de escala de diferencia δ se define por dimensión:

Dimensión	δ
Calidad de las respuestas Q	2
Soporte de funciones F	15
Velocidad de respuesta P	10
Estabilidad del servicio R	2

La calidad de las respuestas utiliza un bootstrap de conglomerados de tareas pareadas con 5,000 repeticiones para estimar el intervalo de diferencia respecto de la referencia oficial. Cuando el intervalo bilateral del 95% contiene 0, B_Q = 50; cuando el intervalo no contiene 0, se calcula con la fórmula anterior. El servicio de referencia oficial se somete de forma independiente a la medición de rendimiento absoluto; su propio B se fija en 50 y no se presupone una puntuación máxima. Cuando configuraciones, tiempos de espera, periodos o vistas de resultados distintos no son comparables, la capa relativa no se rellena con valores estimados.

Integridad de la evidencia C

C consta de los siguientes cinco elementos; cada uno vale como máximo 20 puntos y el total es 100. Cada elemento se asigna según el grado de cobertura y la evidencia de los registros, y puede valer 20, 10 o 0 puntos:

Elemento	Contenido verificado
Cobertura de muestras	Grado de coincidencia entre los registros válidos reales y el tamaño de muestra planificado
Cobertura de ventanas	Grado de completitud de los periodos requeridos o de los segmentos de recopilación de calidad de las respuestas
Integridad del uso	Cobertura y verificabilidad de los datos brutos de `usage`
Evidencia del denominador	Posibilidad de revisión de los denominadores de calificación de preguntas, determinación funcional y medición de caché
Coherencia del protocolo	Grado de coherencia de la configuración de solicitudes, la atribución de registros y el protocolo de observación

C mide la evidencia de medición y no mide directamente la capacidad del modelo. Cada asignación se vincula a un registro de evidencia y el estado del resultado se conserva de forma independiente; la puntuación de la capa de evidencia no sustituye las verificaciones necesarias de validez de los datos.

Calidad de las respuestas

La calidad de las respuestas Q mide la proporción de instancias de tarea válidas correctas según la respuesta canónica y el protocolo de calificación especificado.

Conjunto de preguntas y calificación

Ámbito	Contenido medido	Preguntas × rondas	Instancias planificadas	Método de calificación
BFCL	Selección de funciones, relleno de parámetros, llamadas paralelas, supresión de llamadas irrelevantes y cadena de herramientas de tres etapas	500 × 3	1,500	Adaptación de coincidencia JSON exclusiva para Python basada en el AST checker oficial de la versión especificada
HLE	Preguntas de alta dificultad sobre conocimiento y razonamiento textual, estratificadas por disciplina	250 × 10	2,500	Juez de equivalencia de respuestas; se registran el modelo juez, el prompt y la versión
AA-LCR	Preguntas y respuestas de síntesis sobre múltiples documentos de entre aproximadamente 74,000 y 114,000 tokens	25 × 10	250	Documentos especificados y respuesta canónica; calificación por equivalencia de respuestas
Total	775 preguntas distintas	Según las rondas definidas para cada ámbito	4,250	Agregado de todas las instancias válidas

Rendimiento absoluto de la calidad de las respuestas

A_Q = 100 × instancias correctas / instancias puntuadas válidas

Denominador planificado completo = 1,500 + 2,500 + 250 = 4,250

Los tres ámbitos se agregan por número de instancias y no se calcula un promedio de igual peso de las tasas de corrección de cada ámbito. Las tareas de herramientas de varias rondas pueden corresponder a varias solicitudes a la API; el número de instancias de tarea y el de solicitudes se contabilizan por separado.

Este conjunto es un conjunto derivado de AF Suite; no constituye un subconjunto exacto del conjunto oficial de Artificial Analysis ni reproduce sus resultados de clasificación. Las 50 tareas multiturno de BFCL se elaboran a partir de preguntas reales y se definen de forma independiente del entorno oficial de ejecución multiturno con estado de BFCL. Consulte las fuentes y versiones en Fuentes de los conjuntos de datos.

Condiciones de comparación y tratamiento de datos faltantes

La corrección de las tareas se determina según la respuesta canónica; las respuestas del servicio de referencia oficial no se utilizan como verdad fundamental.
Todas las partes utilizan el mismo presupuesto controlable, número de muestreos y parámetros de equivalencia semántica; cuando el modo de razonamiento, la plantilla de herramientas o effort no pueden alinearse, se marca “configuración no comparable”.
Los fallos del servicio, los tiempos de espera agotados, las negativas a responder y el agotamiento del presupuesto se contabilizan como tareas fallidas en el denominador.
Los registros con un juez no válido o sin una calificación válida se marcan por separado, se excluyen del denominador calculable y conservan el estado de resultado de referencia.
Las reglas de filtrado de preguntas se especifican en el registro de la prueba; el informe presenta el número planificado, el número filtrado y el número realmente calificado.
Las rondas repetidas se asignan al mismo conglomerado de preguntas y no se tratan como preguntas independientes adicionales.

Las diferencias relativas se estiman con un bootstrap de conglomerados de tareas pareadas por ámbito, con 5,000 repeticiones. Todas las partes utilizan el mismo índice de muestreo de preguntas y se reporta el intervalo bilateral del 95% de la diferencia. Cuando el intervalo contiene 0, se marca “sin diferencia concluyente” y la capa relativa a la referencia toma el valor 50.

Soporte de funciones

El soporte de funciones F mide si las funciones de la interfaz están disponibles con la configuración especificada y no se contabiliza de nuevo en la tasa de respuestas correctas de las tareas.

Grupos de funciones y pesos

Grupo de funciones	Peso	Contenido comprobado
Streaming y protocolo de mensajes	20%	Incrementos de streaming, orden de eventos, bloque de terminación, `finish_reason` y posición de `usage`
Interfaz de herramientas	20%	Nombre de la herramienta, schema, análisis de parámetros, llamadas paralelas, devolución de resultados de herramientas y gestión de errores
Restricciones de salida y parámetros	20%	Comportamiento real de `temperature`, `max_tokens`, `stop`, la salida estructurada y la configuración de razonamiento
Contexto y estado	15%	Límites de la ventana, tratamiento de excesos, mensajes históricos e integridad de entradas largas
Errores y recuperación	15%	Coincidencia de los códigos de error, el cuerpo de error, la limitación de tasa y la semántica de reintentos con las convenciones documentadas
Medición y protocolo de caché	10%	Integridad de `usage`, coherencia de los totales y medición de caché

f[组] (Functional Group Pass Score, puntuación de aprobación de grupo funcional) representa la tasa de aprobación de las instancias aplicables válidas de un único grupo funcional. En la fórmula, f流式, f工具, f约束, f上下文, f错误 y f计量 corresponden a los seis grupos de la tabla.

Rendimiento absoluto del soporte de funciones

f[组] = 100 × instancias aprobadas / instancias aplicables válidas
A_F = 0.20 × f流式 + 0.20 × f工具 + 0.20 × f约束
    + 0.15 × f上下文 + 0.15 × f错误 + 0.10 × f计量

Cada grupo tiene 10 casos de prueba; cada caso se ejecuta 1 vez en 3 ventanas, lo que da un total de 60 casos de prueba y 180 determinaciones. Las solicitudes repetidas especificadas dentro de un caso de prueba se registran por separado y no modifican la agrupación ni los pesos de los casos de prueba.

Estados de determinación

Estado	Significado	Tratamiento de agregación
PASS	Todas las comprobaciones aplicables pasan	Se contabiliza en las instancias aprobadas y aplicables válidas
FAIL	Falta una función, se incumple el contrato, el valor es incorrecto o se produce un fallo del servicio no previsto	Se contabiliza en las instancias aplicables válidas y no en las aprobadas
NA	El modelo no admite la capacidad de forma nativa, con evidencia suficiente y registro previo	Se excluye del denominador aplicable
UNTESTED	No se ejecutó la prueba	Se conserva el estado restringido o no disponible cuando faltan registros obligatorios
INVALID	El probador, el fixture o la evidencia de configuración no son válidos y no pueden atribuirse al servicio evaluado	No se trata como fallo funcional; se registran el denominador válido y las limitaciones de evidencia
UNOBSERVED	Un paso anterior se interrumpió y no se formó la observación posterior	No se registra como aprobado; se conserva el estado de observación faltante

La puntuación de capacidad nativa se calcula con los registros aplicables válidos. Cuando existen registros INVALID o UNOBSERVED, se informan también las limitaciones de cobertura y del denominador; cuando falta evidencia para comprobaciones necesarias, la puntuación de compatibilidad estricta no está disponible. Una capacidad que el modelo admite de forma nativa pero que el servicio no ofrece se registra como FAIL y no puede clasificarse como NA.

Capacidad nativa y compatibilidad de interfaz

Indicador	Nombre completo en inglés y significado	Base de comprobación	Uso
`F_native`	Native Functionality Score, puntuación de soporte funcional nativo	Interpreta los campos, la estructura de streaming y la configuración de solicitud necesaria según la documentación del proveedor, y verifica que la función exista y que su semántica sea correcta	Como `A_F` de la puntuación principal
`F_strict`	Strict Interface Compatibility Score, puntuación de compatibilidad estricta de interfaz	Comprueba directamente los campos, la estructura de eventos y el comportamiento de retorno según las convenciones de interfaz de AIHubMix	Diagnóstico independiente de compatibilidad de interfaz

Cuando un campo existe y su posición o nombre coincide con la documentación del proveedor, la comprobación de capacidad nativa lo interpreta según su estructura real. Cuando un campo falta por completo, el valor es incorrecto o hay contradicciones, se determina según el resultado real de la comprobación. La capa de adaptación conserva los campos originales y la base de la asignación, y no presume que un valor desconocido implique una función aprobada. F_native y F_strict se reportan por separado y no pueden alternarse como puntuación principal en una misma tabla comparativa. La proporción de aciertos efectivos de caché se incluye en la velocidad de respuesta y la exactitud de la facturación se verifica por separado.

Velocidad de respuesta

La velocidad de respuesta P se compone del rendimiento de la respuesta de contenido y de los aciertos efectivos de caché. La puntuación principal utiliza K_native.

Carga y muestreo

El perfil sin razonamiento I (Non-thinking Profile, perfil de carga sin razonamiento) y el perfil de razonamiento T (Thinking Profile, perfil de carga de razonamiento) se miden y reportan por separado. I y T son identificadores de perfil de carga; el perfil I exige que el modelo admita de forma nativa el modo sin razonamiento, y el perfil T registra effort, el presupuesto de razonamiento y el presupuesto de salida. C1 (Concurrency 1, concurrencia única) y C10 (Concurrency 10, concurrencia de 10) indican el número de solicitudes ejecutadas simultáneamente. Aquí C significa Concurrency y se usa de forma distinta de la C de la capa de integridad de la evidencia.

Elemento de configuración	Convención de medición
Entrada	10,000 ± 2% tokens, medidos con `o200k_base`; se añade un prefijo único al inicio de la entrada para controlar aciertos de caché no previstos
Salida	1,000 a 1,200 tokens de contenido, con puntos de verificación fijos
Tiempo de espera	300 segundos, idéntico en el mismo grupo de comparación
Concurrencia única C1	90 veces, 3 ventanas × 30
Concurrencia de 10 C10	90 veces, 3 ventanas × 30
Subprueba de caché	30 veces, 3 ventanas × dos niveles de 8k/32k × 5 veces
Aislamiento	La calidad de las respuestas y la velocidad de respuesta se ejecutan por separado; la velocidad de respuesta utiliza un periodo de medición independiente

La prueba de concurrencia utiliza un mecanismo de reposición en bucle cerrado: cada vez que se completa una solicitud se envía otra. C10 representa el resultado observado bajo esa carga y no constituye una curva de capacidad completa.

Medición de tiempos y salida válida

Indicador	Nombre completo en inglés	Definición y uso
Inicio de la medición	Measurement Start Time	Momento en que la solicitud formal comienza a escribirse tras completarse la conexión previa; el tiempo de arranque en frío de la conexión se registra por separado
TTFT	Time to First Token	Tiempo de espera hasta el primer token real de razonamiento, contenido o carga de parámetros de herramienta; los eventos de rol vacío y los eventos de latido no se contabilizan y se reportan como indicador bruto
TTFA	Time to First Answer	Tiempo de espera hasta el primer fragmento final de contenido no vacío, incluido el tiempo de razonamiento anterior; se utiliza para la puntuación de latencia
TPOT	Time per Output Token	Tiempo medio por token durante la generación de contenido, calculado a partir del tiempo del primer y último fragmento de contenido y del número de tokens correspondiente
goodput	Valid-Output Throughput	Tasa de tokens de contenido válidos que cumplen los requisitos de corrección e integridad durante el tiempo de reloj completo de C10

Cuando el contenido se devuelve de una sola vez en un bloque completo, TPOT se marca como no válido y no se usa para construir una tasa por token. El estadístico de puntuación utiliza P50 (50th Percentile, percentil 50, es decir, la mediana) e incluye el tratamiento de fallos; también se reportan el P95 empírico (95th Percentile, percentil 95) y la variación entre ventanas. Las 90 muestras de cada nivel no permiten conclusiones sobre P99 (99th Percentile, percentil 99). Aquí P significa Percentile y se usa de forma distinta de la P de la dimensión de velocidad de respuesta.

Fórmulas de puntuación

Los nombres de funciones y símbolos de subpuntuación de esta sección son notaciones de cálculo de este método y tienen el siguiente significado:

Código	Nombre en inglés	Significado
`S(x; τ)`	Latency Score Function	Función que convierte el tiempo de espera x en una subpuntuación de latencia; τ es la escala de latencia
`L(x; t, k)`	Lower-is-Better Score Function	Función de puntuación en la que un valor más bajo es mejor; en esta sección se usa para TPOT, t es el objetivo de puntuación máxima y k el multiplicador de rango
`H(x; t)`	Higher-is-Better Score Function	Función de puntuación en la que un valor más alto es mejor; en esta sección se usa para el rendimiento efectivo, t es el objetivo de puntuación máxima
`l_ttfa`	Answer Latency Subscore	Subpuntuación de latencia de la primera respuesta de contenido; se toma el menor de los resultados de C1 y C10
`l_tpot`	Output Token Time Subscore	Subpuntuación del tiempo por token de contenido; se toma el menor de los resultados de C1 y C10
`P_response`	Response Performance Score	Subpuntuación de rendimiento de respuesta, compuesta por latencia, tiempo por token y rendimiento efectivo, sin la subpuntuación de caché
`P50_TTFA_C1`, `P50_TTFA_C10`	Median Time to First Answer at Concurrency 1 / 10	Mediana de TTFA con concurrencia única o de 10, incluido el tratamiento de fallos
`P50_TPOT_C1`, `P50_TPOT_C10`	Median Time per Output Token at Concurrency 1 / 10	Mediana de TPOT con concurrencia única o de 10, incluido el tratamiento de fallos

A_P es la puntuación absoluta de velocidad de respuesta, que incluye el rendimiento de respuesta y la subpuntuación de caché; D_P es la puntuación de la dimensión de velocidad de respuesta que, tras la síntesis con la referencia relativa y la evidencia, participa en la puntuación total. A continuación, clip limita el valor al intervalo de 0 a 1, ln es el logaritmo natural, min indica el menor valor y Σ indica la suma. Los parámetros τ, b, c y k de las fórmulas se definen en la tabla de parámetros que sigue a las fórmulas:

Rendimiento absoluto de la velocidad de respuesta

S(x; τ) = 100 × τ / (τ + x)
L(x; t, k) = 100 × clip[ln(k·t/x) / ln(k)]
H(x; t) = 100 × clip[ln(x / (0.05·t)) / ln(20)]

l_ttfa = min(S(P50_TTFA_C1; τ), S(P50_TTFA_C10; τ))
l_tpot = min(L(P50_TPOT_C1; b, 10), L(P50_TPOT_C10; b, 10))

goodput = Σ solicitudes válidas min(tokens de contenido, 1000) / Σ tiempo de reloj de la ventana C10

P_response = 0.35 × l_ttfa + 0.35 × l_tpot + 0.30 × H(goodput; c)
A_P = 0.80 × P_response + 0.20 × K_native

Parámetro	Nombre en inglés	Valor	Significado
τ	Latency Scale	2 segundos	TTFA cuando la subpuntuación de latencia alcanza 50
b	Target Time per Output Token	5 ms/token	Objetivo de puntuación máxima de TPOT; se obtiene 100 cuando el valor alcanza o queda por debajo del objetivo
c	Target Valid-Output Throughput	1,200 token/s	Objetivo de puntuación máxima del rendimiento efectivo de C10; se obtiene 100 cuando el valor alcanza o supera el objetivo
k	TPOT Range Multiplier	10	Multiplicador de rango de la asignación logarítmica de TPOT

Los objetivos anteriores se aplican a la carga especificada en este estándar y no representan umbrales universales para todos los modelos y todas las cargas de trabajo.

TTFA	0 segundos	1 segundo	2 segundos	4 segundos	10 segundos
Subpuntuación de latencia	100	66.7	50	33.3	16.7

Salida no válida y aislamiento de la medición

Las salidas con longitud incorrecta, puntos de verificación erróneos, degradación por bucles repetitivos, errores dentro del stream, terminación anómala o truncamiento se consideran no válidas y siguen contabilizándose en la carga y en el tiempo. Antes de calcular P50 se aplican los siguientes tratamientos:

TTFA se registra como infinito positivo, con una puntuación de latencia de 0.
TPOT se registra como 10b, es decir, 50 ms/token.
La contribución de salida válida al goodput es 0 y el tiempo se conserva en la ventana C10 correspondiente.
El tiempo medido original se conserva por separado y no queda sustituido por el valor de tratamiento de puntuación.

Se reportan también el número de solicitudes válidas, el número planificado y la tasa de salida válida. Los resultados de rendimiento incluyen el efecto de los fallos del servicio en la entrega y no deben interpretarse únicamente a partir de la latencia de las solicitudes correctas.

Aciertos de caché

La subpuntuación de caché K (Cache Hit Score, subpuntuación de aciertos efectivos de caché) mide la proporción de tokens de un prefijo reutilizable que se reportan realmente como lectura de caché. Para cada longitud se agregan primero el volumen de lectura y el volumen que debería poder reutilizarse de las solicitudes en caliente, y después las dos longitudes, 8k y 32k, se agregan con igual peso.

Código	Nombre completo en inglés	Significado
`K_length`	Length-Specific Cache Hit Score	Subpuntuación de aciertos efectivos de caché de un nivel de longitud de prefijo
`K_8k`	8k-Prefix Cache Hit Score	Subpuntuación de aciertos efectivos de caché del nivel de prefijo de aproximadamente 8k tokens
`K_32k`	32k-Prefix Cache Hit Score	Subpuntuación de aciertos efectivos de caché del nivel de prefijo de aproximadamente 32k tokens
`cache_read_native_tokens`	Cache-Read Native Token Count	Número de tokens nativos de lectura de caché reportados realmente por las solicitudes en caliente, sin incluir la escritura de caché
`expected_reusable_native_tokens`	Expected Reusable Native Token Count	Número de tokens nativos del prefijo que deberían poder reutilizarse según las reglas; se usa como denominador de la tasa de aciertos

Aquí native_tokens indica tokens medidos con el tokenizador nativo especificado y se interpreta de forma distinta de native en K_native, que indica configuración conforme a la documentación del proveedor.

Subpuntuación de aciertos de caché

K_length = 100 × Σ solicitudes en caliente cache_read_native_tokens
                 / Σ solicitudes en caliente expected_reusable_native_tokens

K = (K_8k + K_32k) / 2

La tasa de aciertos ponderada por tokens tras combinar distintas longitudes puede utilizarse como indicador de diagnóstico y no sustituye la K de igual peso de la puntuación principal.

Secuencia de prueba y denominador

Cada grupo utiliza un prefijo largo fijo y preguntas nuevas distintas, con un total de 5 solicitudes:

La primera solicitud escribe en la caché y se añade un identificador aleatorio independiente al inicio del prefijo para aislar los distintos grupos de prueba.
Las solicitudes 2 a 4 mantienen el prefijo idéntico byte a byte y utilizan preguntas cortas distintas al final; se envían 5, 30 y 120 segundos después de completarse la solicitud anterior, respectivamente.
La solicitud 5 sustituye el prefijo por uno nuevo completamente independiente y sirve como control en frío.

Las tres ventanas cubren los dos niveles de aproximadamente 8k y 32k, con un total de 30 solicitudes. Solo las solicitudes 2 a 4 entran en la puntuación de aciertos en caliente; cada longitud tiene 9 oportunidades de solicitud en caliente. La escritura inicial y el control en frío se verifican por separado. El denominador utiliza el número registrado de tokens nativos del prefijo que debería poder reutilizarse, según el tokenizador, la plantilla y las reglas de caché especificados. Las preguntas nuevas y las partes no reutilizables se identifican por separado; el denominador no se sustituye por el total de tokens de entrada, el volumen real de aciertos ni el recuento de o200k_base. El volumen de lectura reportado por bloques conserva el valor original y el tamaño de bloque. La puntuación principal utiliza K_native: se aplica la configuración necesaria para habilitar la caché según la documentación del proveedor, y los campos de afinidad de sesión necesarios forman parte de la adaptación de acceso. K_default registra el resultado sin configuración de afinidad de sesión, como diagnóstico de configuración predeterminada. Todos los proveedores siguen el mismo principio de determinación de configuración y el informe conserva la configuración concreta.

Situaciones anómalas y no observables

Situación	Tratamiento
Denominador reutilizable desconocido	K no está disponible; no se registra como 0
La solicitud exitosa carece del campo de lectura de caché	Se registra como no observable de forma predeterminada; solo se interpreta como 0 cuando la documentación indica explícitamente que el campo se omite con cero aciertos, existe registro previo y la evidencia es coherente
El volumen de lectura supera el denominador o hay conflicto de campos	Se registran la anomalía y el valor original; no se trunca al 100%
El control en frío tiene éxito y el volumen de lectura es 0	Puede usarse como evidencia del control en frío; los controles no completados conservan el estado restringido
La solicitud en caliente falla y el denominador puede determinarse	El volumen de lectura se incluye como 0 y el registro de fallo se presenta por separado
El modelo admite caché de forma nativa y el servicio no la ofrece	K = 0
El modelo no admite caché de forma nativa y se definió previamente	Se reporta por separado como nivel No-cache, `A_P = P_response`, distinto del nivel con caché
No se admite la medición de aciertos	K y P se marcan como no disponibles; el peso de la caché no se transfiere

usage solo puede confirmar el volumen de lectura de caché reportado por la interfaz. El costo real solo puede marcarse como verificado tras comprobarlo; un acierto de caché no implica gratuidad ni garantiza que el costo total disminuya.

Estabilidad del servicio

La estabilidad del servicio R mide la proporción de finalizaciones válidas en el primer intento de un conjunto fijo de solicitudes; la puntuación no utiliza reintentos automáticos ni fallback entre proveedores de modelos:

Rendimiento absoluto de la estabilidad del servicio

A_R = 100 × finalizaciones válidas en el primer intento / oportunidades planificadas válidas

Oportunidades planificadas completas = 300

Conjunto de prueba y condiciones de éxito

La prueba consta de 300 oportunidades distribuidas en 3 ventanas de 100 cada una. Cada conjunto de 100 utiliza la misma combinación de tareas: 40 de texto corto, 30 de entrada larga de aproximadamente 10k, 20 de llamada al protocolo de herramientas y 10 de llamada única con historial multiturno. Las tareas de herramientas utilizan un historial válido predefinido para mantener estable el denominador de puntuación. La configuración predeterminada es de concurrencia única y la tasa de solicitudes se mantiene dentro de las cuotas de RPM y TPM verificadas. Este conjunto se ejecuta de forma independiente y no incluye preguntas de calidad de las respuestas, casos negativos de funciones, reintentos de diagnóstico, precalentamiento ni solicitudes de carga de estrés. El éxito inicial debe cumplir al mismo tiempo:

El estado HTTP es el esperado y la estructura de la respuesta y la secuencia de eventos son válidas.
El contenido o la carga de herramientas no está vacío y la finalización es normal.
No hay errores dentro del stream, truncamientos no previstos ni campos obligatorios ausentes.
Los campos de usage especificados están completos y se interpretan según la estructura de interfaz correspondiente.
La solicitud se completa dentro del límite de 300 segundos.

Un HTTP 200 no basta por sí solo para determinar el éxito; los errores de respuesta de las tareas y los fallos del servicio se contabilizan por separado.

Fallos, registros no válidos e intervalos

Los errores 429 dentro de la cuota, los errores del servidor, los fallos de conexión, los tiempos de espera agotados, las respuestas vacías, la interrupción del stream y los truncamientos anómalos se contabilizan como fallos. Cuando un fallo del proveedor de modelos impide enviar una solicitud planificada, se contabiliza como fallo y se registra el motivo. Las anomalías del entorno de prueba o del probador se marcan como INVALID, no se atribuyen al servicio evaluado y se conservan el número de oportunidades válidas y las limitaciones de cobertura. Las solicitudes de diagnóstico se registran de forma independiente y no sustituyen el resultado inicial. La tasa de éxito se reporta con un intervalo bilateral de Clopper–Pearson del 95%. La tasa de éxito observada de 300/300 es del 100%, con un límite inferior del intervalo de aproximadamente 98.78%, lo que aún no demuestra una tasa de éxito del servicio del 100% a largo plazo. Se registran la distribución de fallos por ventana y por categoría de tarea, así como la secuencia de fallos consecutivos más larga.

Escala de las pruebas y comparabilidad

Tamaño de las muestras

A continuación se presenta el tamaño planificado de AF Full dentro de AF Suite:

Elemento	Tamaño planificado por proveedor	Composición
Calidad de las respuestas	4,250 instancias	BFCL 1,500, HLE 2,500, AA-LCR 250
Soporte de funciones	180 determinaciones	60 casos de prueba × 3 ventanas
Velocidad de respuesta	180 solicitudes	C1 y C10, 90 cada uno, en 3 ventanas
Caché	30 solicitudes	3 ventanas × dos longitudes de prefijo × 5 veces
Estabilidad del servicio	300 oportunidades	3 ventanas × 100

El número de instancias de tarea, el de solicitudes a la API y el de solicitudes al juez se contabilizan por separado; las tareas de herramientas de varias etapas y las repeticiones dentro de un caso de prueba pueden corresponder a solicitudes adicionales.

Condiciones de ejecución

El mismo grupo de comparación utiliza de forma uniforme el conjunto de preguntas, las rondas, los tiempos de espera, la temperatura, el presupuesto de salida, el tratamiento de fallos y las fórmulas de puntuación.
Se utiliza el mismo cliente, la misma región de red y la misma estrategia de conexión, y se registran el nivel de servicio de la cuenta, la hora real de inicio y fin y el orden de ejecución.
La prueba completa utiliza 3 ventanas separadas por al menos 60 minutos; la calidad de las respuestas y la velocidad de respuesta se ejecutan por separado.
El ID del modelo, la autenticación, los campos necesarios, el formato de streaming, el mapeo de uso, la semántica de caché y la base del tokenizador forman un registro de adaptación.
La adaptación de acceso se registra y verifica antes del muestreo, y la misma regla se aplica a todos los proveedores de modelos que cumplen los requisitos.
La vista principal de puntuación utiliza de forma uniforme F_native y K_native; los diagnósticos de compatibilidad y de configuración predeterminada se reportan por separado.
Los resultados de la primera ejecución se conservan de forma continua, y los volúmenes planificados, reales, filtrados, fallidos, no válidos y no observados se verifican por separado.

Las pruebas se ejecutan dentro de las cuotas, permisos y costos aprobados. Cuando no se cumplen las condiciones necesarias, el resultado conserva el estado restringido, incompleto o no disponible y no se renormalizan los elementos restantes.

Fuentes de los conjuntos de datos y registro de resultados

Fuentes de los conjuntos de datos

La calidad de las respuestas utiliza conjuntos derivados versionados y conserva la fuente, los registros de muestreo y la información de verificación de integridad. El conjunto de preguntas de calidad de las respuestas de AF Full contiene 775 preguntas distintas; las instantáneas de origen son las siguientes:

Ámbito	Instantánea de origen	Registro de versión	Licencia y límites de uso
BFCL	Datos y checker de Berkeley Function Calling Leaderboard	`6ea57973c7a6`	Repositorio de origen Apache-2.0; esta evaluación utiliza un conjunto derivado y una adaptación del checker
HLE	Instantánea del espejo de texto; conjunto de datos oficial	Espejo `e3e9cb5a550e`	La fuente figura como MIT; no se verificó que sea idéntica byte a byte a la versión oficial actual
AA-LCR	Instantánea de datos y documentación de AA-LCR de Artificial Analysis	`9a77ef56b717`	Repositorio del conjunto de datos Apache-2.0; los derechos de terceros de la documentación citada siguen perteneciendo a sus titulares

BFCL se muestrea con cuotas por categoría; HLE y AA-LCR se muestrean por proporción estratificada y se garantiza una cobertura mínima por estrato. El muestreo utiliza semillas especificadas y ordenamiento SHA-256, y la versión del conjunto de preguntas, la lista de filtrado y el protocolo de calificación se registran con los resultados. Los enlaces anteriores sirven para verificar las fuentes originales y no equivalen a un paquete de evaluación completo que permita reproducir directamente las puntuaciones AF. Los datos restringidos no se redistribuyen en este documento y la licencia concreta se rige por la fuente correspondiente.

Registro y verificación de resultados

El informe del proveedor se denomina de forma uniforme AF Profile y registra la siguiente información de evaluación:

Categoría de registro	Contenido necesario
Identidad de la evaluación	Versión del estándar y del conjunto de preguntas, proveedor de modelos, versión exacta del modelo y servicio de referencia oficial
Condiciones de medición	Configuración de razonamiento, nivel de cuenta, región, periodo, tiempo de espera, concurrencia y parámetros de rendimiento
Base de adaptación	Fecha de consulta de la documentación, campos necesarios, estructura de streaming, interpretación del uso y configuración de caché
Cobertura de muestras	Números planificados, reales y del denominador de puntuación; elementos filtrados, fallidos, no válidos y no observados
Base de calificación	Respuesta canónica, configuración del checker o del juez, estado de calificación y evaluación de desviaciones
Medición original	Solicitudes y respuestas desidentificadas, tiempos de eventos, estados, motivos de terminación y `usage` original
Resultado agregado	Entradas de las capas A/B/C, las cuatro puntuaciones D, la puntuación total, los intervalos por dimensión y los valores sin redondear
Indicadores de diagnóstico	`F_strict`, `K_default`, tasa de validez, categorías de error y limitaciones aplicables correspondientes

El éxito del servicio, la corrección de la tarea y la validez de la salida se indican por separado. Los casos negativos no se incluyen en la puntuación de estabilidad del servicio; la lectura y la escritura de caché se miden por separado, y el estado de verificación del costo estimado y del costo real se registra por separado. Antes de la presentación externa se eliminan las claves, los identificadores de usuario y el contenido sensible; los valores incluyen unidades y los valores faltantes conservan su estado.

Datos de referencia y ejemplos de cálculo

A continuación se utilizan los resultados de cinco servicios de DeepSeek V4.1 Flash 1017 para explicar el método de cálculo. La puntuación principal utiliza F_native y K_native. Los valores se presentan con dos decimales y el cálculo se basa en los valores intermedios guardados en el archivo de resultados.

Esta sección contiene resultados de referencia (PROVISIONAL). La evidencia de registro previo de la recopilación y la adaptación está incompleta y no puede considerarse un resultado oficial de AF Full de AIHubMix Fidelitas Standard. En la calidad de las respuestas se contabilizan 4,240 instancias por proveedor y hay 10 instancias filtradas adicionales. El juez de HLE/AA-LCR y los modelos evaluados pertenecen a la misma familia DeepSeek, y la evidencia de calibración independiente es insuficiente. Los resultados se limitan a la configuración y el alcance de observación registrados.

Rendimiento absoluto y subpuntuación de caché

En la tabla siguiente, Q, F, P y R son el rendimiento absoluto A y no se utilizan directamente como las cuatro puntuaciones de dimensión que se muestran en la puntuación total. K es la subpuntuación de caché incluida en P.

Proveedor de modelos	A_Q	F_native (A_F)	A_P	K_native	A_R
ByteDance	42.05	74.98	84.37	93.83	100.00
Baidu	38.00	88.39	37.77	68.85	100.00
Alibaba Cloud	41.75	89.78	88.58	99.37	100.00
referencia oficial de DeepSeek	42.45	94.00	86.14	98.38	100.00
Fireworks	41.42	71.78	79.51	60.68	100.00

Las cinco pruebas de estabilidad del servicio dieron 300/300; los fallos de servicio de otros conjuntos siguen contabilizándose en la dimensión a la que pertenecen y no pueden sustituirse por el resultado del conjunto R.
La K_native de Fireworks utiliza la configuración de afinidad de sesión especificada en su documentación; los demás servicios se midieron con la configuración exigida por su propia documentación.
La K de Baidu utiliza la regla de muestra que interpreta como 0 el campo omitido por cero aciertos, y la evidencia de registro previo correspondiente está incompleta; el control en frío de 8k tiene registros no completados y K conserva el estado de referencia.
La F_strict de DeepSeek no está disponible debido a 27 registros INVALID; F_native se calcula con los registros aplicables válidos.

Composición de la dimensión de soporte de funciones

Tomando Alibaba Cloud como ejemplo, la puntuación absoluta de soporte de funciones es A_F = 89.777778, la puntuación absoluta del mismo elemento en la referencia oficial es 94, la escala de diferencia es δ_F = 15 y la integridad de la evidencia es C_F = 100. Primero se calcula la puntuación relativa a la referencia B_F y después se compone la puntuación de dimensión D_F:

Referencia relativa y puntuación de la dimensión de funciones

B_F = 50 + 50 × clip((89.777778 − 94) / 15, −1, 1)
    ≈ 35.925926

D_F = 0.65 × 89.777778 + 0.20 × 35.925926 + 0.15 × 100
    ≈ 80.540741

89.78 representa el rendimiento absoluto de la funcionalidad nativa y 80.54 la puntuación de dimensión de funciones que participa en el cálculo de la puntuación total.

Puntuación de estabilidad del servicio de la referencia oficial

El conjunto R de la referencia oficial es 300/300, la puntuación absoluta de estabilidad del servicio es A_R = 100, la puntuación relativa a la referencia es B_R = 50 y la integridad de la evidencia es C_R = 100:

Composición de la dimensión de estabilidad del servicio

D_R = 0.65 × 100 + 0.20 × 50 + 0.15 × 100
    = 90

100% es la tasa de éxito observada del conjunto de estabilidad del servicio de esta ronda y 90 es la puntuación de dimensión mostrada tras la composición de tres capas.

Puntuaciones de dimensión mostradas y puntuación total

La tabla siguiente utiliza los valores D y corresponde a la fórmula de la puntuación total. El orden de la tabla sigue el orden de presentación de los servicios y no está ordenado por puntuación.

Proveedor de modelos	Calidad de las respuestas D_Q	Soporte de funciones D_F	Velocidad de respuesta D_P	Estabilidad del servicio D_R	Puntuación total
ByteDance	50.83	62.24	76.57	88.50	66.37
Baidu	36.70	75.71	36.55	87.00	56.48
Alibaba Cloud	52.13	80.54	85.01	90.00	73.38
referencia oficial de DeepSeek	52.59	84.60	80.99	90.00	73.76
Fireworks	50.42	60.16	68.55	88.50	64.10

Tomando la referencia oficial como ejemplo:

Cálculo de la puntuación total

Overall = 0.35 × 52.594340 + 0.25 × 84.600000
        + 0.20 × 80.990116 + 0.20 × 90.000000
        ≈ 73.76

Indicadores de diagnóstico independientes

Proveedor de modelos	F_strict	K_default
ByteDance	56.83	93.83
Baidu	66.17	68.85
Alibaba Cloud	89.78	99.37
referencia oficial de DeepSeek	No disponible	98.38
Fireworks	71.78	11.06

F_strict expresa la compatibilidad de interfaz y K_default expresa el resultado de caché sin configuración de afinidad de sesión. Ninguna de las dos columnas sustituye las entradas de la puntuación principal. En los intervalos de diferencia de la calidad de las respuestas respecto de la referencia oficial, los intervalos del 95% de ByteDance, Alibaba Cloud y Fireworks contienen 0, por lo que B_Q = 50 en esos casos. La diferencia de Baidu es de aproximadamente −4.46 puntos porcentuales y su intervalo del 95% va de aproximadamente −5.78 a −3.16 puntos porcentuales. Esta conclusión se limita al conjunto de tareas y a las condiciones de observación de esta prueba y no se extiende a una conclusión de significación estadística de la puntuación total.

Estándar y condiciones de aplicación

Identificador del estándar: AIHubMix Fidelitas Standard v2.0. Los resultados registran al mismo tiempo AF Suite, la configuración de adaptación, el protocolo de calificación y las condiciones de medición. Los resultados con configuraciones o criterios estadísticos distintos se interpretan por separado. Las cuatro puntuaciones de la página del modelo son valores D; las tasas de corrección, las tasas de aprobación funcional, las latencias, las proporciones de caché y las tasas de éxito inicial del informe son los indicadores brutos o valores A correspondientes. La puntuación total se utiliza para la presentación agregada y las decisiones concretas de integración se basan en los resultados por dimensión, los requisitos funcionales y las condiciones de evidencia. Documentación relacionada: Elegir un modelo · Detalles y comparación de modelos Fecha del documento: 2026-11-05

⌘I

​Alcance de la puntuación y guía de lectura

​Estados de la puntuación

​Interpretación de los resultados

​Puntuación total y composición de dimensiones

​Fórmula de la puntuación total

​Composición en tres capas

​Referencia oficial relativa B

​Integridad de la evidencia C

​Calidad de las respuestas

​Conjunto de preguntas y calificación

​Condiciones de comparación y tratamiento de datos faltantes

​Soporte de funciones

​Grupos de funciones y pesos

​Estados de determinación

​Capacidad nativa y compatibilidad de interfaz

​Velocidad de respuesta

​Carga y muestreo

​Medición de tiempos y salida válida

​Fórmulas de puntuación

​Salida no válida y aislamiento de la medición

​Aciertos de caché

​Secuencia de prueba y denominador

​Situaciones anómalas y no observables

​Estabilidad del servicio

​Conjunto de prueba y condiciones de éxito

​Fallos, registros no válidos e intervalos

​Escala de las pruebas y comparabilidad

​Tamaño de las muestras

​Condiciones de ejecución

​Fuentes de los conjuntos de datos y registro de resultados

​Fuentes de los conjuntos de datos

​Registro y verificación de resultados

​Datos de referencia y ejemplos de cálculo

​Rendimiento absoluto y subpuntuación de caché

​Composición de la dimensión de soporte de funciones

​Puntuación de estabilidad del servicio de la referencia oficial

​Puntuaciones de dimensión mostradas y puntuación total

​Indicadores de diagnóstico independientes

​Estándar y condiciones de aplicación

Alcance de la puntuación y guía de lectura

Estados de la puntuación

Interpretación de los resultados

Puntuación total y composición de dimensiones

Fórmula de la puntuación total

Composición en tres capas

Referencia oficial relativa B

Integridad de la evidencia C

Calidad de las respuestas

Conjunto de preguntas y calificación

Condiciones de comparación y tratamiento de datos faltantes

Soporte de funciones

Grupos de funciones y pesos

Estados de determinación

Capacidad nativa y compatibilidad de interfaz

Velocidad de respuesta

Carga y muestreo

Medición de tiempos y salida válida

Fórmulas de puntuación

Salida no válida y aislamiento de la medición

Aciertos de caché

Secuencia de prueba y denominador

Situaciones anómalas y no observables

Estabilidad del servicio

Conjunto de prueba y condiciones de éxito

Fallos, registros no válidos e intervalos

Escala de las pruebas y comparabilidad

Tamaño de las muestras

Condiciones de ejecución

Fuentes de los conjuntos de datos y registro de resultados

Fuentes de los conjuntos de datos

Registro y verificación de resultados

Datos de referencia y ejemplos de cálculo

Rendimiento absoluto y subpuntuación de caché

Composición de la dimensión de soporte de funciones

Puntuación de estabilidad del servicio de la referencia oficial

Puntuaciones de dimensión mostradas y puntuación total

Indicadores de diagnóstico independientes

Estándar y condiciones de aplicación