> ## Documentation Index > Fetch the complete documentation index at: https://docs.aihubmix.com/llms.txt > Use this file to discover all available pages before exploring further. # AIHubMix Fidelitas Standard v2.0 > Conozca las cuatro dimensiones de puntuación de AIHubMix Fidelitas Standard, la fórmula de la puntuación total, la determinación de la capacidad nativa y la compatibilidad de interfaz, la medición de la velocidad de respuesta y la caché, así como las fuentes de los conjuntos de preguntas y los límites estadísticos. AIHubMix Fidelitas mide el rendimiento de entrega del mismo modelo en los servicios de distintos proveedores de modelos y evalúa por separado la corrección de los resultados de las tareas, la disponibilidad funcional, el rendimiento de respuesta y la finalización de la primera solicitud. La puntuación total se presenta junto con las cuatro puntuaciones de dimensión para comparar el rendimiento del servicio de un mismo modelo en las condiciones de prueba especificadas. Este documento aplica **AIHubMix Fidelitas Standard v2.0**, con versión de proyecto **AF v2.0**. La puntuación principal utiliza los resultados de medición del soporte de funciones y de la caché obtenidos con la configuración indicada en la documentación del proveedor; la compatibilidad de interfaz y los resultados de caché con la configuración predeterminada se reportan como indicadores de diagnóstico. ## Alcance de la puntuación y guía de lectura | Elemento de puntuación | Código | Peso | Contenido medido | | - | - | - | - | | Calidad de las respuestas | Q (Quality) | 35% | Corrección de los resultados en tareas de llamada a herramientas, de conocimiento y razonamiento, y de comprensión de textos largos | | Soporte de funciones | F (Functionality) | 25% | Disponibilidad funcional de streaming, herramientas, salida estructurada, parámetros, contexto, respuestas de error y medición del uso | | Velocidad de respuesta | P (Performance) | 20% | Latencia de la primera respuesta de contenido, velocidad de generación, rendimiento efectivo concurrente y aciertos efectivos de caché | | Estabilidad del servicio | R (Reliability) | 20% | Proporción de solicitudes de un conjunto fijo que se completan de forma válida en la primera ejecución | **La unidad de puntuación independiente es “proveedor de modelos × versión del modelo”**, es decir, el servicio de una versión de modelo concreta ofrecido por un proveedor de modelos. Cada unidad forma un conjunto de cuatro puntuaciones de dimensión y una puntuación total bajo el lote de evaluación y la configuración especificados. El modo de razonamiento, los parámetros de la solicitud, el nivel de servicio de la cuenta, la región de prueba y el periodo de observación son condiciones de medición y se registran junto con los resultados. Los resultados obtenidos en condiciones distintas se etiquetan por separado y no se combinan directamente. Cuando no es posible verificar la versión del modelo, la región o el nivel de servicio, se indica el estado no verificado correspondiente y no se presume confirmado. Las evaluaciones se ejecutan a través de la API de AIHubMix y los resultados describen el rendimiento observado real con esta modalidad de acceso. El servicio de referencia oficial también se mide a través de la API de AIHubMix y no se presenta como una medición directa e independiente de la API oficial. Un mismo grupo de comparación utiliza el mismo conjunto de preguntas, rondas, tiempos de espera, presupuesto de solicitudes, criterios de fallo y métodos estadísticos. Los campos de solicitud necesarios, la estructura de streaming y los campos de uso que exige la documentación del proveedor son gestionados por la capa de adaptación de acceso (adapter), y el objetivo de medición se mantiene constante. Este método no se utiliza para establecer clasificaciones de capacidad intelectual entre modelos y la identidad del proveedor de modelos no otorga puntuación adicional. ### Estados de la puntuación | Estado | Significado | | - | - | | Oficial | Se completaron el registro de la prueba, el muestreo, la calificación y la verificación de la evidencia conforme al estándar correspondiente | | Resultado de referencia (PROVISIONAL) | Permite obtener un resultado calculado, pero el muestreo, la calificación, el registro de adaptación o la evidencia presentan limitaciones aplicables | | No disponible (UNAVAILABLE) | Falta una calificación necesaria, un denominador o una referencia, por lo que no se asigna un valor numérico | | No comparable | La configuración del modelo, las condiciones de observación o las vistas de resultados no son coherentes y no se incluyen en comparaciones bajo el mismo criterio | Los valores faltantes y las puntuaciones de 0 se tratan por separado. Cuando el servicio falla de forma explícita o no ofrece una capacidad obligatoria, se contabiliza como fallo según la regla correspondiente; cuando falta una medición, el denominador es desconocido o la evidencia es insuficiente, se conserva el estado correspondiente. Si una dimensión no está disponible, la puntuación total también se marca como no disponible y su peso no se redistribuye entre las demás dimensiones. ### Interpretación de los resultados * Los indicadores brutos se convierten en el rendimiento absoluto A mediante la fórmula de puntuación y, tras la síntesis con la referencia relativa y la evidencia, se obtiene la puntuación compuesta de dimensión D. La puntuación total utiliza D y no pondera directamente las tasas brutas de corrección, las tasas de aprobación funcional ni las tasas de éxito del servicio. * La puntuación refleja el rendimiento con un conjunto de preguntas, una carga, una región, una configuración y una ventana de observación concretos, y las condiciones aplicables se registran junto con los resultados. * La precisión de presentación no representa la capacidad de discriminación estadística. Las diferencias en la calidad de las respuestas se interpretan junto con los intervalos estadísticos pareados y no se determina cuál es mejor únicamente por diferencias decimales. * La puntuación total es un índice agregado; no constituye una certificación ni proporciona intervalos de confianza. Las conclusiones estadísticas se basan en la evidencia de cada dimensión concreta. * La estabilidad del servicio reporta al mismo tiempo el número de éxitos iniciales, el número de oportunidades planificadas y el intervalo bilateral del 95%, y no debe interpretarse directamente como un SLA a largo plazo. Cuando una revisión confirma una identidad de modelo incorrecta, un recorte silencioso de la entrada, una filtración de contenido sensible, un daño grave del protocolo o una anomalía de facturación, el resultado se marca por separado como “no supera la admisión” y se conservan la evidencia de reproducción y las limitaciones de uso. Las puntuaciones de dimensión y la puntuación total no compensan esta limitación. ## Puntuación total y composición de dimensiones ### Fórmula de la puntuación total La puntuación total se calcula como la suma ponderada de las cuatro puntuaciones compuestas de dimensión. `D_Q`, `D_F`, `D_P` y `D_R` representan, respectivamente, las puntuaciones compuestas de calidad de las respuestas, soporte de funciones, velocidad de respuesta y estabilidad del servicio. ```text Puntuación total theme={null} Overall = 0.35 × D_Q + 0.25 × D_F + 0.20 × D_P + 0.20 × D_R ``` Las cuatro puntuaciones compuestas de dimensión utilizan una escala de 0–100. La puntuación total resume el resultado global y las cuatro puntuaciones de dimensión permiten identificar diferencias concretas. ### Composición en tres capas Cada puntuación compuesta de dimensión D se calcula como una suma ponderada del rendimiento absoluto A, del rendimiento relativo a la referencia oficial B y de la integridad de la evidencia C. ```text Puntuación de dimensión theme={null} D = 0.65 × A + 0.20 × B + 0.15 × C ``` | Capa de entrada | Peso | Definición | | - | - | - | | A: rendimiento absoluto | 65% | Resultado de medición real obtenido con los métodos de prueba y estadísticos especificados | | B: relativo a la referencia oficial | 20% | Diferencia del rendimiento absoluto de la misma dimensión respecto del servicio de referencia oficial | | C: integridad de la evidencia | 15% | Grado en que la cobertura de muestras, la coherencia de las observaciones y la evidencia de medición respaldan este resultado | A, B y C son símbolos de la capa de cálculo y no indican un nivel de acceso. El rendimiento absoluto utiliza la fórmula especificada; no se asigna 100 al servicio más rápido o con mayor puntuación del lote ni se renormaliza por lote. El texto antes del guion bajo indica la capa de cálculo y el que sigue, la dimensión de puntuación. Por ejemplo, `A_F` es la puntuación de soporte de funciones de la capa de rendimiento absoluto y `D_F` es la puntuación de soporte de funciones tras la composición de tres capas. La puntuación principal y los valores de diagnóstico utilizan además los siguientes sufijos de configuración: | Código | Nombre completo en inglés | Significado y uso | | - | - | - | | `F_native` | Native Functionality Score | Puntuación de soporte funcional nativo obtenida al aplicar la configuración y la interpretación indicadas en la documentación del proveedor, utilizada como `A_F` de la puntuación principal | | `F_strict` | Strict Interface Compatibility Score | Puntuación de compatibilidad estricta obtenida al comprobar directamente las convenciones de interfaz de AIHubMix, reportada como diagnóstico independiente | | `K` | Cache Hit Score | Subpuntuación de aciertos efectivos de caché, incluida en el rendimiento absoluto de la velocidad de respuesta | | `K_native` | Native Cache Hit Score | Subpuntuación de caché medida con la configuración requerida por la documentación del proveedor, utilizada en la puntuación principal | | `K_default` | Default-Configuration Cache Hit Score | Subpuntuación de caché medida sin configuración de afinidad de sesión, reportada como diagnóstico independiente | `native` indica configuración conforme a la documentación del proveedor, `strict` indica comprobación estricta de la interfaz y `default` indica la configuración predeterminada definida en este documento. `K` es el símbolo de caché de este método y no representa Quality. La puntuación principal utiliza de forma uniforme `F_native` y `K_native`; los valores de diagnóstico no se mezclan con la puntuación principal. ### Referencia oficial relativa B `A_official` es la puntuación de rendimiento absoluto del servicio de referencia oficial en la dimensión actual; su puntuación relativa a la referencia `B_official` se fija en 50. ```text Capa relativa a la referencia theme={null} B_official = 50 B = 50 + 50 × clip((A − A_official) / δ, −1, 1) ``` `clip(x, −1, 1)` es una función de limitación que restringe x al intervalo de −1 a 1. El parámetro de escala de diferencia δ se define por dimensión: | Dimensión | δ | | - | - | | Calidad de las respuestas Q | 2 | | Soporte de funciones F | 15 | | Velocidad de respuesta P | 10 | | Estabilidad del servicio R | 2 | La calidad de las respuestas utiliza un bootstrap de conglomerados de tareas pareadas con 5,000 repeticiones para estimar el intervalo de diferencia respecto de la referencia oficial. **Cuando el intervalo bilateral del 95% contiene 0, `B_Q = 50`**; cuando el intervalo no contiene 0, se calcula con la fórmula anterior. El servicio de referencia oficial se somete de forma independiente a la medición de rendimiento absoluto; su propio B se fija en 50 y no se presupone una puntuación máxima. Cuando configuraciones, tiempos de espera, periodos o vistas de resultados distintos no son comparables, la capa relativa no se rellena con valores estimados. ### Integridad de la evidencia C C consta de los siguientes cinco elementos; cada uno vale como máximo 20 puntos y el total es 100. Cada elemento se asigna según el grado de cobertura y la evidencia de los registros, y puede valer 20, 10 o 0 puntos: | Elemento | Contenido verificado | | - | - | | Cobertura de muestras | Grado de coincidencia entre los registros válidos reales y el tamaño de muestra planificado | | Cobertura de ventanas | Grado de completitud de los periodos requeridos o de los segmentos de recopilación de calidad de las respuestas | | Integridad del uso | Cobertura y verificabilidad de los datos brutos de `usage` | | Evidencia del denominador | Posibilidad de revisión de los denominadores de calificación de preguntas, determinación funcional y medición de caché | | Coherencia del protocolo | Grado de coherencia de la configuración de solicitudes, la atribución de registros y el protocolo de observación | C mide la evidencia de medición y no mide directamente la capacidad del modelo. Cada asignación se vincula a un registro de evidencia y el estado del resultado se conserva de forma independiente; la puntuación de la capa de evidencia no sustituye las verificaciones necesarias de validez de los datos. ## Calidad de las respuestas La calidad de las respuestas Q mide la proporción de instancias de tarea válidas correctas según la respuesta canónica y el protocolo de calificación especificado. ### Conjunto de preguntas y calificación | Ámbito | Contenido medido | Preguntas × rondas | Instancias planificadas | Método de calificación | | - | - | - | - | - | | BFCL | Selección de funciones, relleno de parámetros, llamadas paralelas, supresión de llamadas irrelevantes y cadena de herramientas de tres etapas | 500 × 3 | 1,500 | Adaptación de coincidencia JSON exclusiva para Python basada en el AST checker oficial de la versión especificada | | HLE | Preguntas de alta dificultad sobre conocimiento y razonamiento textual, estratificadas por disciplina | 250 × 10 | 2,500 | Juez de equivalencia de respuestas; se registran el modelo juez, el prompt y la versión | | AA-LCR | Preguntas y respuestas de síntesis sobre múltiples documentos de entre aproximadamente 74,000 y 114,000 tokens | 25 × 10 | 250 | Documentos especificados y respuesta canónica; calificación por equivalencia de respuestas | | Total | 775 preguntas distintas | Según las rondas definidas para cada ámbito | 4,250 | Agregado de todas las instancias válidas | ```text Rendimiento absoluto de la calidad de las respuestas theme={null} A_Q = 100 × instancias correctas / instancias puntuadas válidas Denominador planificado completo = 1,500 + 2,500 + 250 = 4,250 ``` Los tres ámbitos se agregan por número de instancias y no se calcula un promedio de igual peso de las tasas de corrección de cada ámbito. Las tareas de herramientas de varias rondas pueden corresponder a varias solicitudes a la API; el número de instancias de tarea y el de solicitudes se contabilizan por separado. > [!NOTE] > > Este conjunto es un conjunto derivado de AF Suite; no constituye un subconjunto exacto del conjunto oficial de Artificial Analysis ni reproduce sus resultados de clasificación. Las 50 tareas multiturno de BFCL se elaboran a partir de preguntas reales y se definen de forma independiente del entorno oficial de ejecución multiturno con estado de BFCL. Consulte las fuentes y versiones en [Fuentes de los conjuntos de datos](#dataset-sources). ### Condiciones de comparación y tratamiento de datos faltantes * La corrección de las tareas se determina según la respuesta canónica; las respuestas del servicio de referencia oficial no se utilizan como verdad fundamental. * Todas las partes utilizan el mismo presupuesto controlable, número de muestreos y parámetros de equivalencia semántica; cuando el modo de razonamiento, la plantilla de herramientas o `effort` no pueden alinearse, se marca “configuración no comparable”. * Los fallos del servicio, los tiempos de espera agotados, las negativas a responder y el agotamiento del presupuesto se contabilizan como tareas fallidas en el denominador. * Los registros con un juez no válido o sin una calificación válida se marcan por separado, se excluyen del denominador calculable y conservan el estado de resultado de referencia. * Las reglas de filtrado de preguntas se especifican en el registro de la prueba; el informe presenta el número planificado, el número filtrado y el número realmente calificado. * Las rondas repetidas se asignan al mismo conglomerado de preguntas y no se tratan como preguntas independientes adicionales. Las diferencias relativas se estiman con un bootstrap de conglomerados de tareas pareadas por ámbito, con 5,000 repeticiones. Todas las partes utilizan el mismo índice de muestreo de preguntas y se reporta el intervalo bilateral del 95% de la diferencia. Cuando el intervalo contiene 0, se marca “sin diferencia concluyente” y la capa relativa a la referencia toma el valor 50. ## Soporte de funciones El soporte de funciones F mide si las funciones de la interfaz están disponibles con la configuración especificada y no se contabiliza de nuevo en la tasa de respuestas correctas de las tareas. ### Grupos de funciones y pesos | Grupo de funciones | Peso | Contenido comprobado | | - | - | - | | Streaming y protocolo de mensajes | 20% | Incrementos de streaming, orden de eventos, bloque de terminación, `finish_reason` y posición de `usage` | | Interfaz de herramientas | 20% | Nombre de la herramienta, schema, análisis de parámetros, llamadas paralelas, devolución de resultados de herramientas y gestión de errores | | Restricciones de salida y parámetros | 20% | Comportamiento real de `temperature`, `max_tokens`, `stop`, la salida estructurada y la configuración de razonamiento | | Contexto y estado | 15% | Límites de la ventana, tratamiento de excesos, mensajes históricos e integridad de entradas largas | | Errores y recuperación | 15% | Coincidencia de los códigos de error, el cuerpo de error, la limitación de tasa y la semántica de reintentos con las convenciones documentadas | | Medición y protocolo de caché | 10% | Integridad de `usage`, coherencia de los totales y medición de caché | `f[组]` (Functional Group Pass Score, puntuación de aprobación de grupo funcional) representa la tasa de aprobación de las instancias aplicables válidas de un único grupo funcional. En la fórmula, `f流式`, `f工具`, `f约束`, `f上下文`, `f错误` y `f计量` corresponden a los seis grupos de la tabla. ```text Rendimiento absoluto del soporte de funciones theme={null} f[组] = 100 × instancias aprobadas / instancias aplicables válidas A_F = 0.20 × f流式 + 0.20 × f工具 + 0.20 × f约束 + 0.15 × f上下文 + 0.15 × f错误 + 0.10 × f计量 ``` Cada grupo tiene 10 casos de prueba; cada caso se ejecuta 1 vez en 3 ventanas, lo que da un total de 60 casos de prueba y 180 determinaciones. Las solicitudes repetidas especificadas dentro de un caso de prueba se registran por separado y no modifican la agrupación ni los pesos de los casos de prueba. ### Estados de determinación | Estado | Significado | Tratamiento de agregación | | - | - | - | | PASS | Todas las comprobaciones aplicables pasan | Se contabiliza en las instancias aprobadas y aplicables válidas | | FAIL | Falta una función, se incumple el contrato, el valor es incorrecto o se produce un fallo del servicio no previsto | Se contabiliza en las instancias aplicables válidas y no en las aprobadas | | NA | El modelo no admite la capacidad de forma nativa, con evidencia suficiente y registro previo | Se excluye del denominador aplicable | | UNTESTED | No se ejecutó la prueba | Se conserva el estado restringido o no disponible cuando faltan registros obligatorios | | INVALID | El probador, el fixture o la evidencia de configuración no son válidos y no pueden atribuirse al servicio evaluado | No se trata como fallo funcional; se registran el denominador válido y las limitaciones de evidencia | | UNOBSERVED | Un paso anterior se interrumpió y no se formó la observación posterior | No se registra como aprobado; se conserva el estado de observación faltante | La puntuación de capacidad nativa se calcula con los registros aplicables válidos. Cuando existen registros INVALID o UNOBSERVED, se informan también las limitaciones de cobertura y del denominador; cuando falta evidencia para comprobaciones necesarias, la puntuación de compatibilidad estricta no está disponible. Una capacidad que el modelo admite de forma nativa pero que el servicio no ofrece se registra como FAIL y no puede clasificarse como NA. ### Capacidad nativa y compatibilidad de interfaz | Indicador | Nombre completo en inglés y significado | Base de comprobación | Uso | | - | - | - | - | | `F_native` | Native Functionality Score, puntuación de soporte funcional nativo | Interpreta los campos, la estructura de streaming y la configuración de solicitud necesaria según la documentación del proveedor, y verifica que la función exista y que su semántica sea correcta | Como `A_F` de la puntuación principal | | `F_strict` | Strict Interface Compatibility Score, puntuación de compatibilidad estricta de interfaz | Comprueba directamente los campos, la estructura de eventos y el comportamiento de retorno según las convenciones de interfaz de AIHubMix | Diagnóstico independiente de compatibilidad de interfaz | Cuando un campo existe y su posición o nombre coincide con la documentación del proveedor, la comprobación de capacidad nativa lo interpreta según su estructura real. Cuando un campo falta por completo, el valor es incorrecto o hay contradicciones, se determina según el resultado real de la comprobación. La capa de adaptación conserva los campos originales y la base de la asignación, y no presume que un valor desconocido implique una función aprobada. `F_native` y `F_strict` se reportan por separado y no pueden alternarse como puntuación principal en una misma tabla comparativa. La proporción de aciertos efectivos de caché se incluye en la [velocidad de respuesta](#speed) y la exactitud de la facturación se verifica por separado. ## Velocidad de respuesta La velocidad de respuesta P se compone del rendimiento de la respuesta de contenido y de los aciertos efectivos de caché. La puntuación principal utiliza `K_native`. ### Carga y muestreo El perfil sin razonamiento I (Non-thinking Profile, perfil de carga sin razonamiento) y el perfil de razonamiento T (Thinking Profile, perfil de carga de razonamiento) se miden y reportan por separado. I y T son identificadores de perfil de carga; el perfil I exige que el modelo admita de forma nativa el modo sin razonamiento, y el perfil T registra `effort`, el presupuesto de razonamiento y el presupuesto de salida. C1 (Concurrency 1, concurrencia única) y C10 (Concurrency 10, concurrencia de 10) indican el número de solicitudes ejecutadas simultáneamente. Aquí C significa Concurrency y se usa de forma distinta de la C de la capa de integridad de la evidencia. | Elemento de configuración | Convención de medición | | - | - | | Entrada | 10,000 ± 2% tokens, medidos con `o200k_base`; se añade un prefijo único al inicio de la entrada para controlar aciertos de caché no previstos | | Salida | 1,000 a 1,200 tokens de contenido, con puntos de verificación fijos | | Tiempo de espera | 300 segundos, idéntico en el mismo grupo de comparación | | Concurrencia única C1 | 90 veces, 3 ventanas × 30 | | Concurrencia de 10 C10 | 90 veces, 3 ventanas × 30 | | Subprueba de caché | 30 veces, 3 ventanas × dos niveles de 8k/32k × 5 veces | | Aislamiento | La calidad de las respuestas y la velocidad de respuesta se ejecutan por separado; la velocidad de respuesta utiliza un periodo de medición independiente | La prueba de concurrencia utiliza un mecanismo de reposición en bucle cerrado: cada vez que se completa una solicitud se envía otra. C10 representa el resultado observado bajo esa carga y no constituye una curva de capacidad completa. ### Medición de tiempos y salida válida | Indicador | Nombre completo en inglés | Definición y uso | | - | - | - | | Inicio de la medición | Measurement Start Time | Momento en que la solicitud formal comienza a escribirse tras completarse la conexión previa; el tiempo de arranque en frío de la conexión se registra por separado | | TTFT | Time to First Token | Tiempo de espera hasta el primer token real de razonamiento, contenido o carga de parámetros de herramienta; los eventos de rol vacío y los eventos de latido no se contabilizan y se reportan como indicador bruto | | TTFA | Time to First Answer | Tiempo de espera hasta el primer fragmento final de contenido no vacío, incluido el tiempo de razonamiento anterior; se utiliza para la puntuación de latencia | | TPOT | Time per Output Token | Tiempo medio por token durante la generación de contenido, calculado a partir del tiempo del primer y último fragmento de contenido y del número de tokens correspondiente | | goodput | Valid-Output Throughput | Tasa de tokens de contenido válidos que cumplen los requisitos de corrección e integridad durante el tiempo de reloj completo de C10 | Cuando el contenido se devuelve de una sola vez en un bloque completo, TPOT se marca como no válido y no se usa para construir una tasa por token. El estadístico de puntuación utiliza P50 (50th Percentile, percentil 50, es decir, la mediana) e incluye el tratamiento de fallos; también se reportan el P95 empírico (95th Percentile, percentil 95) y la variación entre ventanas. Las 90 muestras de cada nivel no permiten conclusiones sobre P99 (99th Percentile, percentil 99). Aquí P significa Percentile y se usa de forma distinta de la P de la dimensión de velocidad de respuesta. ### Fórmulas de puntuación Los nombres de funciones y símbolos de subpuntuación de esta sección son notaciones de cálculo de este método y tienen el siguiente significado: | Código | Nombre en inglés | Significado | | - | - | - | | `S(x; τ)` | Latency Score Function | Función que convierte el tiempo de espera x en una subpuntuación de latencia; τ es la escala de latencia | | `L(x; t, k)` | Lower-is-Better Score Function | Función de puntuación en la que un valor más bajo es mejor; en esta sección se usa para TPOT, t es el objetivo de puntuación máxima y k el multiplicador de rango | | `H(x; t)` | Higher-is-Better Score Function | Función de puntuación en la que un valor más alto es mejor; en esta sección se usa para el rendimiento efectivo, t es el objetivo de puntuación máxima | | `l_ttfa` | Answer Latency Subscore | Subpuntuación de latencia de la primera respuesta de contenido; se toma el menor de los resultados de C1 y C10 | | `l_tpot` | Output Token Time Subscore | Subpuntuación del tiempo por token de contenido; se toma el menor de los resultados de C1 y C10 | | `P_response` | Response Performance Score | Subpuntuación de rendimiento de respuesta, compuesta por latencia, tiempo por token y rendimiento efectivo, sin la subpuntuación de caché | | `P50_TTFA_C1`, `P50_TTFA_C10` | Median Time to First Answer at Concurrency 1 / 10 | Mediana de TTFA con concurrencia única o de 10, incluido el tratamiento de fallos | | `P50_TPOT_C1`, `P50_TPOT_C10` | Median Time per Output Token at Concurrency 1 / 10 | Mediana de TPOT con concurrencia única o de 10, incluido el tratamiento de fallos | `A_P` es la puntuación absoluta de velocidad de respuesta, que incluye el rendimiento de respuesta y la subpuntuación de caché; `D_P` es la puntuación de la dimensión de velocidad de respuesta que, tras la síntesis con la referencia relativa y la evidencia, participa en la puntuación total. A continuación, `clip` limita el valor al intervalo de 0 a 1, `ln` es el logaritmo natural, `min` indica el menor valor y Σ indica la suma. Los parámetros τ, b, c y k de las fórmulas se definen en la tabla de parámetros que sigue a las fórmulas: ```text Rendimiento absoluto de la velocidad de respuesta theme={null} S(x; τ) = 100 × τ / (τ + x) L(x; t, k) = 100 × clip[ln(k·t/x) / ln(k)] H(x; t) = 100 × clip[ln(x / (0.05·t)) / ln(20)] l_ttfa = min(S(P50_TTFA_C1; τ), S(P50_TTFA_C10; τ)) l_tpot = min(L(P50_TPOT_C1; b, 10), L(P50_TPOT_C10; b, 10)) goodput = Σ solicitudes válidas min(tokens de contenido, 1000) / Σ tiempo de reloj de la ventana C10 P_response = 0.35 × l_ttfa + 0.35 × l_tpot + 0.30 × H(goodput; c) A_P = 0.80 × P_response + 0.20 × K_native ``` | Parámetro | Nombre en inglés | Valor | Significado | | - | - | - | - | | τ | Latency Scale | 2 segundos | TTFA cuando la subpuntuación de latencia alcanza 50 | | b | Target Time per Output Token | 5 ms/token | Objetivo de puntuación máxima de TPOT; se obtiene 100 cuando el valor alcanza o queda por debajo del objetivo | | c | Target Valid-Output Throughput | 1,200 token/s | Objetivo de puntuación máxima del rendimiento efectivo de C10; se obtiene 100 cuando el valor alcanza o supera el objetivo | | k | TPOT Range Multiplier | 10 | Multiplicador de rango de la asignación logarítmica de TPOT | Los objetivos anteriores se aplican a la carga especificada en este estándar y no representan umbrales universales para todos los modelos y todas las cargas de trabajo. | TTFA | 0 segundos | 1 segundo | 2 segundos | 4 segundos | 10 segundos | | - | - | - | - | - | - | | Subpuntuación de latencia | 100 | 66.7 | 50 | 33.3 | 16.7 | ### Salida no válida y aislamiento de la medición Las salidas con longitud incorrecta, puntos de verificación erróneos, degradación por bucles repetitivos, errores dentro del stream, terminación anómala o truncamiento se consideran no válidas y siguen contabilizándose en la carga y en el tiempo. Antes de calcular P50 se aplican los siguientes tratamientos: * TTFA se registra como infinito positivo, con una puntuación de latencia de 0. * TPOT se registra como `10b`, es decir, 50 ms/token. * La contribución de salida válida al goodput es 0 y el tiempo se conserva en la ventana C10 correspondiente. * El tiempo medido original se conserva por separado y no queda sustituido por el valor de tratamiento de puntuación. Se reportan también el número de solicitudes válidas, el número planificado y la tasa de salida válida. Los resultados de rendimiento incluyen el efecto de los fallos del servicio en la entrega y no deben interpretarse únicamente a partir de la latencia de las solicitudes correctas. ## Aciertos de caché La subpuntuación de caché K (Cache Hit Score, subpuntuación de aciertos efectivos de caché) mide la proporción de tokens de un prefijo reutilizable que se reportan realmente como lectura de caché. Para cada longitud se agregan primero el volumen de lectura y el volumen que debería poder reutilizarse de las solicitudes en caliente, y después las dos longitudes, 8k y 32k, se agregan con igual peso. | Código | Nombre completo en inglés | Significado | | - | - | - | | `K_length` | Length-Specific Cache Hit Score | Subpuntuación de aciertos efectivos de caché de un nivel de longitud de prefijo | | `K_8k` | 8k-Prefix Cache Hit Score | Subpuntuación de aciertos efectivos de caché del nivel de prefijo de aproximadamente 8k tokens | | `K_32k` | 32k-Prefix Cache Hit Score | Subpuntuación de aciertos efectivos de caché del nivel de prefijo de aproximadamente 32k tokens | | `cache_read_native_tokens` | Cache-Read Native Token Count | Número de tokens nativos de lectura de caché reportados realmente por las solicitudes en caliente, sin incluir la escritura de caché | | `expected_reusable_native_tokens` | Expected Reusable Native Token Count | Número de tokens nativos del prefijo que deberían poder reutilizarse según las reglas; se usa como denominador de la tasa de aciertos | Aquí `native_tokens` indica tokens medidos con el tokenizador nativo especificado y se interpreta de forma distinta de `native` en `K_native`, que indica configuración conforme a la documentación del proveedor. ```text Subpuntuación de aciertos de caché theme={null} K_length = 100 × Σ solicitudes en caliente cache_read_native_tokens / Σ solicitudes en caliente expected_reusable_native_tokens K = (K_8k + K_32k) / 2 ``` La tasa de aciertos ponderada por tokens tras combinar distintas longitudes puede utilizarse como indicador de diagnóstico y no sustituye la K de igual peso de la puntuación principal. ### Secuencia de prueba y denominador Cada grupo utiliza un prefijo largo fijo y preguntas nuevas distintas, con un total de 5 solicitudes: 1. La primera solicitud escribe en la caché y se añade un identificador aleatorio independiente al inicio del prefijo para aislar los distintos grupos de prueba. 2. Las solicitudes 2 a 4 mantienen el prefijo idéntico byte a byte y utilizan preguntas cortas distintas al final; se envían 5, 30 y 120 segundos después de completarse la solicitud anterior, respectivamente. 3. La solicitud 5 sustituye el prefijo por uno nuevo completamente independiente y sirve como control en frío. Las tres ventanas cubren los dos niveles de aproximadamente 8k y 32k, con un total de 30 solicitudes. Solo las solicitudes 2 a 4 entran en la puntuación de aciertos en caliente; cada longitud tiene 9 oportunidades de solicitud en caliente. La escritura inicial y el control en frío se verifican por separado. El denominador utiliza el número registrado de tokens nativos del prefijo que debería poder reutilizarse, según el tokenizador, la plantilla y las reglas de caché especificados. Las preguntas nuevas y las partes no reutilizables se identifican por separado; el denominador no se sustituye por el total de tokens de entrada, el volumen real de aciertos ni el recuento de `o200k_base`. El volumen de lectura reportado por bloques conserva el valor original y el tamaño de bloque. La puntuación principal utiliza **`K_native`**: se aplica la configuración necesaria para habilitar la caché según la documentación del proveedor, y los campos de afinidad de sesión necesarios forman parte de la adaptación de acceso. **`K_default`** registra el resultado sin configuración de afinidad de sesión, como diagnóstico de configuración predeterminada. Todos los proveedores siguen el mismo principio de determinación de configuración y el informe conserva la configuración concreta. ### Situaciones anómalas y no observables | Situación | Tratamiento | | - | - | | Denominador reutilizable desconocido | K no está disponible; no se registra como 0 | | La solicitud exitosa carece del campo de lectura de caché | Se registra como no observable de forma predeterminada; solo se interpreta como 0 cuando la documentación indica explícitamente que el campo se omite con cero aciertos, existe registro previo y la evidencia es coherente | | El volumen de lectura supera el denominador o hay conflicto de campos | Se registran la anomalía y el valor original; no se trunca al 100% | | El control en frío tiene éxito y el volumen de lectura es 0 | Puede usarse como evidencia del control en frío; los controles no completados conservan el estado restringido | | La solicitud en caliente falla y el denominador puede determinarse | El volumen de lectura se incluye como 0 y el registro de fallo se presenta por separado | | El modelo admite caché de forma nativa y el servicio no la ofrece | K = 0 | | El modelo no admite caché de forma nativa y se definió previamente | Se reporta por separado como nivel No-cache, `A_P = P_response`, distinto del nivel con caché | | No se admite la medición de aciertos | K y P se marcan como no disponibles; el peso de la caché no se transfiere | `usage` solo puede confirmar el volumen de lectura de caché reportado por la interfaz. El costo real solo puede marcarse como verificado tras comprobarlo; un acierto de caché no implica gratuidad ni garantiza que el costo total disminuya. ## Estabilidad del servicio La estabilidad del servicio R mide la proporción de finalizaciones válidas en el primer intento de un conjunto fijo de solicitudes; la puntuación no utiliza reintentos automáticos ni fallback entre proveedores de modelos: ```text Rendimiento absoluto de la estabilidad del servicio theme={null} A_R = 100 × finalizaciones válidas en el primer intento / oportunidades planificadas válidas Oportunidades planificadas completas = 300 ``` ### Conjunto de prueba y condiciones de éxito La prueba consta de 300 oportunidades distribuidas en 3 ventanas de 100 cada una. Cada conjunto de 100 utiliza la misma combinación de tareas: 40 de texto corto, 30 de entrada larga de aproximadamente 10k, 20 de llamada al protocolo de herramientas y 10 de llamada única con historial multiturno. Las tareas de herramientas utilizan un historial válido predefinido para mantener estable el denominador de puntuación. La configuración predeterminada es de concurrencia única y la tasa de solicitudes se mantiene dentro de las cuotas de RPM y TPM verificadas. Este conjunto se ejecuta de forma independiente y no incluye preguntas de calidad de las respuestas, casos negativos de funciones, reintentos de diagnóstico, precalentamiento ni solicitudes de carga de estrés. El éxito inicial debe cumplir al mismo tiempo: * El estado HTTP es el esperado y la estructura de la respuesta y la secuencia de eventos son válidas. * El contenido o la carga de herramientas no está vacío y la finalización es normal. * No hay errores dentro del stream, truncamientos no previstos ni campos obligatorios ausentes. * Los campos de `usage` especificados están completos y se interpretan según la estructura de interfaz correspondiente. * La solicitud se completa dentro del límite de 300 segundos. Un HTTP 200 no basta por sí solo para determinar el éxito; los errores de respuesta de las tareas y los fallos del servicio se contabilizan por separado. ### Fallos, registros no válidos e intervalos Los errores 429 dentro de la cuota, los errores del servidor, los fallos de conexión, los tiempos de espera agotados, las respuestas vacías, la interrupción del stream y los truncamientos anómalos se contabilizan como fallos. Cuando un fallo del proveedor de modelos impide enviar una solicitud planificada, se contabiliza como fallo y se registra el motivo. Las anomalías del entorno de prueba o del probador se marcan como INVALID, no se atribuyen al servicio evaluado y se conservan el número de oportunidades válidas y las limitaciones de cobertura. Las solicitudes de diagnóstico se registran de forma independiente y no sustituyen el resultado inicial. La tasa de éxito se reporta con un intervalo bilateral de Clopper–Pearson del 95%. La tasa de éxito observada de 300/300 es del 100%, con un límite inferior del intervalo de aproximadamente 98.78%, lo que aún no demuestra una tasa de éxito del servicio del 100% a largo plazo. Se registran la distribución de fallos por ventana y por categoría de tarea, así como la secuencia de fallos consecutivos más larga. ## Escala de las pruebas y comparabilidad ### Tamaño de las muestras A continuación se presenta el tamaño planificado de AF Full dentro de AF Suite: | Elemento | Tamaño planificado por proveedor | Composición | | - | - | - | | Calidad de las respuestas | 4,250 instancias | BFCL 1,500, HLE 2,500, AA-LCR 250 | | Soporte de funciones | 180 determinaciones | 60 casos de prueba × 3 ventanas | | Velocidad de respuesta | 180 solicitudes | C1 y C10, 90 cada uno, en 3 ventanas | | Caché | 30 solicitudes | 3 ventanas × dos longitudes de prefijo × 5 veces | | Estabilidad del servicio | 300 oportunidades | 3 ventanas × 100 | El número de instancias de tarea, el de solicitudes a la API y el de solicitudes al juez se contabilizan por separado; las tareas de herramientas de varias etapas y las repeticiones dentro de un caso de prueba pueden corresponder a solicitudes adicionales. ### Condiciones de ejecución * El mismo grupo de comparación utiliza de forma uniforme el conjunto de preguntas, las rondas, los tiempos de espera, la temperatura, el presupuesto de salida, el tratamiento de fallos y las fórmulas de puntuación. * Se utiliza el mismo cliente, la misma región de red y la misma estrategia de conexión, y se registran el nivel de servicio de la cuenta, la hora real de inicio y fin y el orden de ejecución. * La prueba completa utiliza 3 ventanas separadas por al menos 60 minutos; la calidad de las respuestas y la velocidad de respuesta se ejecutan por separado. * El ID del modelo, la autenticación, los campos necesarios, el formato de streaming, el mapeo de uso, la semántica de caché y la base del tokenizador forman un registro de adaptación. * La adaptación de acceso se registra y verifica antes del muestreo, y la misma regla se aplica a todos los proveedores de modelos que cumplen los requisitos. * La vista principal de puntuación utiliza de forma uniforme `F_native` y `K_native`; los diagnósticos de compatibilidad y de configuración predeterminada se reportan por separado. * Los resultados de la primera ejecución se conservan de forma continua, y los volúmenes planificados, reales, filtrados, fallidos, no válidos y no observados se verifican por separado. Las pruebas se ejecutan dentro de las cuotas, permisos y costos aprobados. Cuando no se cumplen las condiciones necesarias, el resultado conserva el estado restringido, incompleto o no disponible y no se renormalizan los elementos restantes. ## Fuentes de los conjuntos de datos y registro de resultados ### Fuentes de los conjuntos de datos La calidad de las respuestas utiliza conjuntos derivados versionados y conserva la fuente, los registros de muestreo y la información de verificación de integridad. El conjunto de preguntas de calidad de las respuestas de AF Full contiene 775 preguntas distintas; las instantáneas de origen son las siguientes: | Ámbito | Instantánea de origen | Registro de versión | Licencia y límites de uso | | - | - | - | - | | BFCL | [Datos y checker de Berkeley Function Calling Leaderboard](https://github.com/ShishirPatil/gorilla/tree/6ea57973c7a6097fd7c5915698c54c17c5b1b6c8/berkeley-function-call-leaderboard) | `6ea57973c7a6` | Repositorio de origen Apache-2.0; esta evaluación utiliza un conjunto derivado y una adaptación del checker | | HLE | [Instantánea del espejo de texto](https://huggingface.co/datasets/macabdul9/hle_text_only/tree/e3e9cb5a550ec7de645fac553b0e2768d30a03ee); [conjunto de datos oficial](https://huggingface.co/datasets/cais/hle) | Espejo `e3e9cb5a550e` | La fuente figura como MIT; no se verificó que sea idéntica byte a byte a la versión oficial actual | | AA-LCR | [Instantánea de datos y documentación de AA-LCR de Artificial Analysis](https://huggingface.co/datasets/ArtificialAnalysis/AA-LCR/tree/9a77ef56b717057ade24ceab4d273712a0b4f19e) | `9a77ef56b717` | Repositorio del conjunto de datos Apache-2.0; los derechos de terceros de la documentación citada siguen perteneciendo a sus titulares | BFCL se muestrea con cuotas por categoría; HLE y AA-LCR se muestrean por proporción estratificada y se garantiza una cobertura mínima por estrato. El muestreo utiliza semillas especificadas y ordenamiento SHA-256, y la versión del conjunto de preguntas, la lista de filtrado y el protocolo de calificación se registran con los resultados. Los enlaces anteriores sirven para verificar las fuentes originales y no equivalen a un paquete de evaluación completo que permita reproducir directamente las puntuaciones AF. Los datos restringidos no se redistribuyen en este documento y la licencia concreta se rige por la fuente correspondiente. ### Registro y verificación de resultados El informe del proveedor se denomina de forma uniforme AF Profile y registra la siguiente información de evaluación: | Categoría de registro | Contenido necesario | | - | - | | Identidad de la evaluación | Versión del estándar y del conjunto de preguntas, proveedor de modelos, versión exacta del modelo y servicio de referencia oficial | | Condiciones de medición | Configuración de razonamiento, nivel de cuenta, región, periodo, tiempo de espera, concurrencia y parámetros de rendimiento | | Base de adaptación | Fecha de consulta de la documentación, campos necesarios, estructura de streaming, interpretación del uso y configuración de caché | | Cobertura de muestras | Números planificados, reales y del denominador de puntuación; elementos filtrados, fallidos, no válidos y no observados | | Base de calificación | Respuesta canónica, configuración del checker o del juez, estado de calificación y evaluación de desviaciones | | Medición original | Solicitudes y respuestas desidentificadas, tiempos de eventos, estados, motivos de terminación y `usage` original | | Resultado agregado | Entradas de las capas A/B/C, las cuatro puntuaciones D, la puntuación total, los intervalos por dimensión y los valores sin redondear | | Indicadores de diagnóstico | `F_strict`, `K_default`, tasa de validez, categorías de error y limitaciones aplicables correspondientes | El éxito del servicio, la corrección de la tarea y la validez de la salida se indican por separado. Los casos negativos no se incluyen en la puntuación de estabilidad del servicio; la lectura y la escritura de caché se miden por separado, y el estado de verificación del costo estimado y del costo real se registra por separado. Antes de la presentación externa se eliminan las claves, los identificadores de usuario y el contenido sensible; los valores incluyen unidades y los valores faltantes conservan su estado. ## Datos de referencia y ejemplos de cálculo A continuación se utilizan los resultados de cinco servicios de DeepSeek V4.1 Flash 1017 para explicar el método de cálculo. La puntuación principal utiliza `F_native` y `K_native`. Los valores se presentan con dos decimales y el cálculo se basa en los valores intermedios guardados en el archivo de resultados. > [!NOTE] > > Esta sección contiene resultados de referencia (PROVISIONAL). La evidencia de registro previo de la recopilación y la adaptación está incompleta y no puede considerarse un resultado oficial de AF Full de AIHubMix Fidelitas Standard. En la calidad de las respuestas se contabilizan 4,240 instancias por proveedor y hay 10 instancias filtradas adicionales. El juez de HLE/AA-LCR y los modelos evaluados pertenecen a la misma familia DeepSeek, y la evidencia de calibración independiente es insuficiente. Los resultados se limitan a la configuración y el alcance de observación registrados. ### Rendimiento absoluto y subpuntuación de caché En la tabla siguiente, Q, F, P y R son el rendimiento absoluto A y **no se utilizan directamente como las cuatro puntuaciones de dimensión que se muestran en la puntuación total**. K es la subpuntuación de caché incluida en P. | Proveedor de modelos | A\_Q | F\_native (A\_F) | A\_P | K\_native | A\_R | | - | - | - | - | - | - | | ByteDance | 42.05 | 74.98 | 84.37 | 93.83 | 100.00 | | Baidu | 38.00 | 88.39 | 37.77 | 68.85 | 100.00 | | Alibaba Cloud | 41.75 | 89.78 | 88.58 | 99.37 | 100.00 | | referencia oficial de DeepSeek | 42.45 | 94.00 | 86.14 | 98.38 | 100.00 | | Fireworks | 41.42 | 71.78 | 79.51 | 60.68 | 100.00 | * Las cinco pruebas de estabilidad del servicio dieron 300/300; los fallos de servicio de otros conjuntos siguen contabilizándose en la dimensión a la que pertenecen y no pueden sustituirse por el resultado del conjunto R. * La `K_native` de Fireworks utiliza la configuración de afinidad de sesión especificada en su documentación; los demás servicios se midieron con la configuración exigida por su propia documentación. * La K de Baidu utiliza la regla de muestra que interpreta como 0 el campo omitido por cero aciertos, y la evidencia de registro previo correspondiente está incompleta; el control en frío de 8k tiene registros no completados y K conserva el estado de referencia. * La `F_strict` de DeepSeek no está disponible debido a 27 registros INVALID; `F_native` se calcula con los registros aplicables válidos. ### Composición de la dimensión de soporte de funciones Tomando Alibaba Cloud como ejemplo, la puntuación absoluta de soporte de funciones es `A_F = 89.777778`, la puntuación absoluta del mismo elemento en la referencia oficial es 94, la escala de diferencia es `δ_F = 15` y la integridad de la evidencia es `C_F = 100`. Primero se calcula la puntuación relativa a la referencia `B_F` y después se compone la puntuación de dimensión `D_F`: ```text Referencia relativa y puntuación de la dimensión de funciones theme={null} B_F = 50 + 50 × clip((89.777778 − 94) / 15, −1, 1) ≈ 35.925926 D_F = 0.65 × 89.777778 + 0.20 × 35.925926 + 0.15 × 100 ≈ 80.540741 ``` 89.78 representa el rendimiento absoluto de la funcionalidad nativa y 80.54 la puntuación de dimensión de funciones que participa en el cálculo de la puntuación total. ### Puntuación de estabilidad del servicio de la referencia oficial El conjunto R de la referencia oficial es 300/300, la puntuación absoluta de estabilidad del servicio es `A_R = 100`, la puntuación relativa a la referencia es `B_R = 50` y la integridad de la evidencia es `C_R = 100`: ```text Composición de la dimensión de estabilidad del servicio theme={null} D_R = 0.65 × 100 + 0.20 × 50 + 0.15 × 100 = 90 ``` 100% es la tasa de éxito observada del conjunto de estabilidad del servicio de esta ronda y 90 es la puntuación de dimensión mostrada tras la composición de tres capas. ### Puntuaciones de dimensión mostradas y puntuación total La tabla siguiente utiliza los valores D y corresponde a la fórmula de la puntuación total. El orden de la tabla sigue el orden de presentación de los servicios y no está ordenado por puntuación. | Proveedor de modelos | Calidad de las respuestas D\_Q | Soporte de funciones D\_F | Velocidad de respuesta D\_P | Estabilidad del servicio D\_R | Puntuación total | | - | - | - | - | - | - | | ByteDance | 50.83 | 62.24 | 76.57 | 88.50 | **66.37** | | Baidu | 36.70 | 75.71 | 36.55 | 87.00 | **56.48** | | Alibaba Cloud | 52.13 | 80.54 | 85.01 | 90.00 | **73.38** | | referencia oficial de DeepSeek | 52.59 | 84.60 | 80.99 | 90.00 | **73.76** | | Fireworks | 50.42 | 60.16 | 68.55 | 88.50 | **64.10** | Tomando la referencia oficial como ejemplo: ```text Cálculo de la puntuación total theme={null} Overall = 0.35 × 52.594340 + 0.25 × 84.600000 + 0.20 × 80.990116 + 0.20 × 90.000000 ≈ 73.76 ``` ### Indicadores de diagnóstico independientes | Proveedor de modelos | F\_strict | K\_default | | - | - | - | | ByteDance | 56.83 | 93.83 | | Baidu | 66.17 | 68.85 | | Alibaba Cloud | 89.78 | 99.37 | | referencia oficial de DeepSeek | No disponible | 98.38 | | Fireworks | 71.78 | 11.06 | `F_strict` expresa la compatibilidad de interfaz y `K_default` expresa el resultado de caché sin configuración de afinidad de sesión. Ninguna de las dos columnas sustituye las entradas de la puntuación principal. En los intervalos de diferencia de la calidad de las respuestas respecto de la referencia oficial, los intervalos del 95% de ByteDance, Alibaba Cloud y Fireworks contienen 0, por lo que `B_Q = 50` en esos casos. La diferencia de Baidu es de aproximadamente −4.46 puntos porcentuales y su intervalo del 95% va de aproximadamente −5.78 a −3.16 puntos porcentuales. Esta conclusión se limita al conjunto de tareas y a las condiciones de observación de esta prueba y no se extiende a una conclusión de significación estadística de la puntuación total. ## Estándar y condiciones de aplicación Identificador del estándar: **AIHubMix Fidelitas Standard v2.0**. Los resultados registran al mismo tiempo AF Suite, la configuración de adaptación, el protocolo de calificación y las condiciones de medición. Los resultados con configuraciones o criterios estadísticos distintos se interpretan por separado. Las cuatro puntuaciones de la página del modelo son valores D; las tasas de corrección, las tasas de aprobación funcional, las latencias, las proporciones de caché y las tasas de éxito inicial del informe son los indicadores brutos o valores A correspondientes. La puntuación total se utiliza para la presentación agregada y las decisiones concretas de integración se basan en los resultados por dimensión, los requisitos funcionales y las condiciones de evidencia. Documentación relacionada: [Elegir un modelo](https://docs.aihubmix.com/es/guides/choose-models.md) · [Detalles y comparación de modelos](https://docs.aihubmix.com/es/guides/model-details.md) Fecha del documento: 2026-11-05 This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.