AIHubMix Fidelitas Standard v2.0

AIHubMix Fidelitas는 동일한 모델이 서로 다른 모델 프로바이더의 서비스에서 나타나는 제공 성과를 측정 대상으로 삼아 작업 결과 정확성, 기능 가용성, 응답 성능 및 최초 요청 완료 상황을 각각 평가합니다. 총점과 네 가지 차원 점수를 함께 제시하며, 규정된 테스트 조건에서 동일 모델의 서비스 성과를 비교하는 데 사용합니다. 이 문서는 AIHubMix Fidelitas Standard v2.0을 적용하며, 프로젝트 버전은 AF v2.0입니다. 주 점수는 프로바이더 문서에 따라 구성한 기능 지원 및 캐시 측정 결과를 사용합니다. 인터페이스 호환성과 기본 구성에서의 캐시 결과는 각각 진단 지표로 보고합니다.

평가 범위와 읽는 방법

평가 항목	코드	가중치	측정 내용
응답 품질	Q (Quality)	35%	도구 호출, 지식 및 추론, 장문 이해 작업의 결과 정확성
기능 지원	F (Functionality)	25%	스트리밍, 도구, 구조화된 출력, 파라미터, 컨텍스트, 오류 응답 및 사용량 계량의 기능 가용성
응답 속도	P (Performance)	20%	최초 본문 응답 지연, 생성 속도, 동시 유효 처리량 및 유효 캐시 적중 상황
서비스 안정성	R (Reliability)	20%	고정 요청 집합이 최초 실행에서 유효하게 완료된 비율

**독립 평가 대상은 “모델 프로바이더 × 모델 버전”**입니다. 즉 특정 모델 프로바이더가 제공하는 특정 모델 버전의 서비스입니다. 각 대상은 지정된 평가 배치와 구성에서 네 가지 차원 점수 및 총점 한 세트를 형성합니다. 사고 모드, 요청 파라미터, 계정 서비스 등급, 테스트 지역 및 관찰 시간대는 측정 조건에 해당하며 결과와 함께 기록합니다. 서로 다른 조건의 결과는 각각 표시하고 직접 합치지 않습니다. 모델 버전, 지역 또는 서비스 등급을 검증할 수 없으면 해당 미검증 상태를 명시하며, 확인된 것으로 간주하지 않습니다. 평가는 AIHubMix API를 통해 실행하며, 결과는 해당 연동 방식에서 실제로 관찰된 성과를 설명합니다. 공식 참조 서비스도 AIHubMix API를 통해 측정하며, 공식 API에 직접 연결한 독립 측정 결과로 사용하지 않습니다. 동일 비교 그룹은 같은 문제 세트, 라운드, 타임아웃, 요청 예산, 실패 채점 및 통계 방법을 사용합니다. 프로바이더 문서가 규정한 필수 요청 필드, 스트리밍 구조 및 사용량 필드는 연동 어댑터 계층(adapter)에서 처리하며, 측정 목표는 동일하게 유지합니다. 이 방법은 모델 간 지능 능력 순위를 매기는 데 사용하지 않으며, 모델 프로바이더라는 사실은 가점 근거가 되지 않습니다.

점수 상태

상태	의미
정식	해당 표준에 따라 테스트 등록, 샘플링, 채점 및 증거 검증을 완료
참고 결과 (PROVISIONAL)	계산 결과를 산출할 수 있으나 샘플링, 채점, 어댑터 등록 또는 증거에 적용 한계가 있음
사용 불가 (UNAVAILABLE)	필수 채점, 분모 또는 참조가 없어 값을 부여하지 않음
비교 불가	모델 구성, 관찰 조건 또는 결과 보기가 일치하지 않아 동일 기준 비교에 포함하지 않음

누락값과 0점은 각각 처리합니다. 서비스가 명확히 실패하거나 필수 기능을 제공하지 않으면 해당 규칙에 따라 실패로 계산합니다. 측정 누락, 분모 미확인 또는 증거 부족 시에는 해당 상태를 유지합니다. 어느 한 차원이 사용 불가이면 총점도 사용 불가로 표시하며, 그 가중치를 다른 차원으로 재분배하지 않습니다.

결과 해석

원시 지표는 채점 공식에 따라 절대 성과 A로 환산하고, 상대 참조 및 증거 합성을 거쳐 차원 합성 점수 D를 얻습니다. 총점은 D를 사용하며, 원시 정확률, 기능 통과율 또는 서비스 성공률을 직접 가중 합산하지 않습니다.
점수는 특정 문제 세트, 부하, 지역, 구성 및 관찰 윈도우에서의 성과를 반영하며, 적용 조건을 결과와 함께 기록합니다.
표시 정밀도는 통계적 구분 능력을 의미하지 않습니다. 응답 품질 차이는 대응 통계 구간과 함께 해석하며, 소수점 차이만으로 우열을 판단하지 않습니다.
총점은 요약 지수이며 인증으로 사용되지 않고 신뢰 구간을 제공하지 않습니다. 통계적 결론은 구체적 차원의 증거를 근거로 합니다.
서비스 안정성은 최초 성공 수, 계획 기회 수 및 양측 95% 구간을 함께 보고하며, 장기 SLA로 직접 해석하지 않습니다.

검토 결과 모델 식별 정보 불일치, 입력이 알림 없이 잘림, 민감한 내용 유출, 심각한 프로토콜 손상 또는 과금 이상이 확인되면 결과에 “승인 미통과”를 별도로 표시하고 재현 증거 및 사용 제한을 보존합니다. 차원 점수와 총점은 이 제한을 상쇄하지 않습니다.

총점과 차원 합성

총점 공식

총점은 네 가지 차원의 합성 점수를 가중 계산합니다. D_Q, D_F, D_P, D_R은 각각 응답 품질, 기능 지원, 응답 속도, 서비스 안정성의 합성 점수를 나타냅니다.

총점

Overall = 0.35 × D_Q + 0.25 × D_F + 0.20 × D_P + 0.20 × D_R

네 가지 차원 합성 점수는 모두 0–100점 척도를 사용합니다. 총점은 전체 결과를 요약하며, 네 가지 차원 점수는 구체적 차이를 식별하는 데 사용합니다.

세 계층 합성

각 차원 합성 점수 D는 절대 성과 A, 공식 참조 대비 B 및 증거 완전성 C를 가중 계산합니다.

차원 점수

D = 0.65 × A + 0.20 × B + 0.15 × C

입력 계층	가중치	정의
A: 절대 성과	65%	규정된 테스트 및 통계 방법으로 얻은 실제 측정 결과
B: 공식 참조 대비	20%	동일 차원의 절대 성과가 공식 참조 서비스와 보이는 차이
C: 증거 완전성	15%	표본 커버리지, 관찰 일관성 및 계량 증거가 이번 결과를 뒷받침하는 정도

A, B, C는 계산 계층의 기호이며 연동 등급을 의미하지 않습니다. 절대 성과는 규정된 공식을 사용하며, 이번 배치에서 가장 빠르거나 가장 높은 점수의 서비스를 100으로 설정하지 않고 배치별로 다시 정규화하지도 않습니다. 밑줄 앞은 계산 계층을, 뒤는 평가 차원을 나타냅니다. 예를 들어 A_F는 절대 성과 계층의 기능 지원 점수이고, D_F는 세 계층 합성 후의 기능 지원 점수입니다. 주 점수와 진단 값에는 다음 구성 접미사도 사용합니다.

코드	영문 전체 이름	의미 및 용도
`F_native`	Native Functionality Score	프로바이더 문서에 따라 구성하고 해석한 네이티브 기능 지원 점수로, 주 점수의 `A_F`로 사용
`F_strict`	Strict Interface Compatibility Score	AIHubMix 인터페이스 규약에 따라 직접 검사한 엄격한 호환성 점수로, 별도 진단
`K`	Cache Hit Score	유효 캐시 적중 하위 점수로, 응답 속도 절대 성과에 포함
`K_native`	Native Cache Hit Score	프로바이더 문서가 요구하는 구성으로 측정한 캐시 하위 점수로, 주 점수에 사용
`K_default`	Default-Configuration Cache Hit Score	세션 어피니티 구성을 추가하지 않은 상태에서 측정한 캐시 하위 점수로, 별도 진단

native는 프로바이더 문서에 따른 구성을, strict는 엄격한 인터페이스 검사를, default는 이 문서에서 정의한 기본 구성을 의미합니다. K는 이 방법의 캐시 기호이며 Quality를 의미하지 않습니다. 주 점수는 F_native와 K_native를 일관되게 사용하며, 진단 값을 주 점수와 혼용하지 않습니다.

공식 참조 대비 B

A_official은 공식 참조 서비스의 현재 차원 절대 성과 점수를 나타내며, 그 상대 참조 점수 B_official은 50으로 고정합니다.

상대 참조 계층

B_official = 50
B = 50 + 50 × clip((A − A_official) / δ, −1, 1)

clip(x, −1, 1)은 x를 −1에서 1로 제한하는 클리핑 함수입니다. 차이 척도 매개변수 δ는 차원별로 정의합니다.

차원	δ
응답 품질 Q	2
기능 지원 F	15
응답 속도 P	10
서비스 안정성 R	2

응답 품질은 5,000회 대응 작업 클러스터 부트스트랩으로 공식 참조 대비 차이 구간을 추정합니다. **양측 95% 구간이 0을 포함하면 B_Q = 50**이며, 구간이 0을 포함하지 않으면 위 매핑에 따라 계산합니다. 공식 참조 서비스는 절대 성과 측정을 독립적으로 받으며, 자체 B는 50으로 고정하고 만점을 미리 정하지 않습니다. 서로 다른 구성, 타임아웃, 시간대 또는 결과 보기가 비교 가능하지 않으면 상대 계층에 추정값을 넣지 않습니다.

증거 완전성 C

C는 다음 다섯 항목으로 구성되며, 각 항목은 최대 20점, 총점은 100입니다. 각 항목은 기록의 커버리지 수준과 증거 상황에 따라 20점, 10점 또는 0점을 부여합니다.

항목	검증 내용
표본 커버리지	실제 유효 기록과 계획 표본량의 일치 정도
윈도우 커버리지	필요한 시간대 또는 응답 품질 수집 구간의 완전성
사용량 완전성	원시 `usage`의 커버리지 및 검증 가능성
분모 증거	문항 채점, 기능 판정 및 캐시 계량 분모의 재검토 가능성
프로토콜 일관성	요청 구성, 기록 귀속 및 관찰 프로토콜의 일치 정도

C는 측정 증거를 평가하며 모델 능력을 직접 측정하지 않습니다. 각 항목의 부여 값은 증거 기록과 연결되고 결과 상태는 독립적으로 유지됩니다. 증거 계층 점수는 필수 데이터 유효성 검증을 대체하지 않습니다.

응답 품질

응답 품질 Q는 표준 답변과 규정된 채점 프로토콜에 따라 모든 유효 작업 인스턴스의 정답 비율을 측정합니다.

문제 세트와 채점

방향	측정 내용	문항 수 × 라운드	계획 인스턴스 수	채점 방법
BFCL	함수 선택, 파라미터 채우기, 병렬 호출, 무관 호출 억제 및 세 단계 도구 체인	500 × 3	1,500	지정 버전 공식 AST 검사기를 사용한 Python-only JSON 일치 어댑터
HLE	교과별로 계층화한 고난도 텍스트 지식 및 추론 문항	250 × 10	2,500	답변 동등성 판정자, 판정 모델, 프롬프트 및 버전 기록
AA-LCR	약 7.4만~11.4만 token의 다중 문서 종합 질의응답	25 × 10	250	지정 문서 및 표준 답변, 답변 동등성 채점 적용
합계	775개의 서로 다른 문항	방향별 규정 라운드로 실행	4,250	모든 유효 인스턴스 기준 집계

응답 품질의 절대 성과

A_Q = 100 × 정답 인스턴스 수 / 유효 채점 인스턴스 수

완전한 계획 분모 = 1,500 + 2,500 + 250 = 4,250

세 방향은 인스턴스 수 기준으로 집계하며, 각 방향 정확률을 동일 가중치로 평균하지 않습니다. 다중 라운드 도구 작업은 여러 API 요청에 대응할 수 있으며, 작업 인스턴스 수와 요청 수는 별도로 집계합니다.

이 문제 세트는 AF Suite의 파생 문제 세트이며, Artificial Analysis 공식 평가의 정확한 부분 집합을 구성하지 않고 그 순위 결과를 재현하지도 않습니다. 50개 BFCL 다중 라운드 작업은 실제 문항을 기반으로 구성했으며, BFCL 공식 상태 기반 다중 라운드 실행 환경과는 별도로 정의합니다. 출처 및 버전은 데이터셋 출처를 참조하세요.

비교 조건과 누락 처리

작업 정확성은 표준 답변을 기준으로 판정하며, 공식 참조 답변을 정답으로 사용하지 않습니다.
각 참여자는 동일한 제어 가능 예산, 샘플링 횟수 및 의미 동등 파라미터를 사용합니다. 사고 모드, 도구 템플릿 또는 effort를 맞출 수 없으면 “구성 비교 불가”로 표시합니다.
서비스 실패, 타임아웃, 거부 응답 및 예산 소진은 작업 실패로 분모에 포함합니다.
판정이 유효하지 않거나 유효 판정이 없는 기록은 별도로 표시하고 계산 가능한 분모에서 제외하며, 참고 결과 상태를 유지합니다.
문항 필터 규칙은 테스트 등록에 명시하고, 보고서에 계획 수, 필터 수 및 실제 채점 수를 함께 제시합니다.
반복 라운드는 동일 문항 클러스터에 귀속하며, 새로운 독립 문항으로 처리하지 않습니다.

상대 차이는 방향별 대응 작업 클러스터 부트스트랩을 사용하며 5,000회 반복합니다. 각 참여자는 동일한 문항 샘플링 인덱스를 사용하고, 차이의 양측 95% 구간을 보고합니다. 구간이 0을 포함하면 “우열을 가릴 수 없음”으로 표시하고 상대 참조 계층은 50을 사용합니다.

기능 지원

기능 지원 F는 인터페이스 기능이 규정된 구성에서 사용 가능한지 측정하며, 작업 응답 정확률에 중복 포함하지 않습니다.

기능 그룹과 가중치

기능 그룹	가중치	검사 내용
스트리밍 및 메시지 프로토콜	20%	스트리밍 증분, 이벤트 순서, 종료 블록, `finish_reason` 및 `usage` 위치
도구 인터페이스	20%	도구 이름, schema, 파라미터 파싱, 병렬 호출, 도구 결과 반환 및 오류 처리
출력 제약 및 파라미터	20%	`temperature`, `max_tokens`, `stop`, 구조화된 출력 및 사고 구성의 실제 동작
컨텍스트 및 상태	15%	윈도우 경계, 초과 처리, 이전 메시지 및 긴 입력 완전성
오류 및 복구	15%	오류 코드, 오류 본문, 속도 제한 및 재시도 의미가 문서 규약과 일치하는 정도
계량 및 캐시 프로토콜	10%	`usage` 완전성, 총량 자기 일관성 및 캐시 계량

f[组] (Functional Group Pass Score, 기능 그룹 통과 점수)는 단일 기능 그룹의 유효 적용 인스턴스 통과율을 나타냅니다. 수식의 f流式, f工具, f约束, f上下文, f错误, f计量은 각각 표의 여섯 그룹에 대응합니다.

기능 지원의 절대 성과

f[组] = 100 × 통과 인스턴스 수 / 유효 적용 인스턴스 수
A_F = 0.20 × f流式 + 0.20 × f工具 + 0.20 × f约束
    + 0.15 × f上下文 + 0.15 × f错误 + 0.10 × f计量

각 그룹은 10개 사례를 포함하고, 각 사례를 3개 윈도우에서 1회 실행하여 총 60개 사례, 180개 판정을 얻습니다. 사례 내 규정된 반복 요청은 별도 기록하며 사례 그룹 및 가중치를 변경하지 않습니다.

판정 상태

상태	의미	집계 처리
PASS	모든 적용 가능 검사 항목 통과	통과 및 유효 적용 인스턴스에 포함
FAIL	기능 누락, 규약 불일치, 값 오류 또는 예기치 않은 서비스 장애	유효 적용 인스턴스에 포함, 통과에는 미포함
NA	모델이 해당 능력을 네이티브로 지원하지 않으며 충분한 증거와 사전 등록이 있음	적용 분모에서 제외
UNTESTED	테스트 미실행	필수 테스트 기록이 부족하면 제한 또는 사용 불가 상태 유지
INVALID	테스터, 픽스처 또는 구성 증거가 유효하지 않아 피평가 서비스에 귀책할 수 없음	기능 실패로 처리하지 않고 유효 분모 및 증거 제한 기록
UNOBSERVED	선행 단계가 중단되어 후속 관찰이 형성되지 않음	통과로 기록하지 않고 관찰 누락 상태 유지

네이티브 능력 점수는 유효 적용 기록으로 계산합니다. INVALID 또는 UNOBSERVED가 있으면 커버리지 및 분모 제한을 함께 공개합니다. 필수 검사에 증거가 없으면 엄격한 호환성 점수는 사용 불가입니다. 모델이 네이티브로 지원하지만 서비스가 제공하지 않는 능력은 FAIL로 기록하며 NA로 분류할 수 없습니다.

네이티브 능력과 인터페이스 호환성

지표	영문 전체 이름 및 한국어 의미	검사 근거	용도
`F_native`	Native Functionality Score, 네이티브 기능 지원 점수	프로바이더 문서에 따라 필드, 스트리밍 구조 및 필수 요청 구성을 해석하고 기능 존재 및 의미 정확성 검증	주 점수의 `A_F`로 사용
`F_strict`	Strict Interface Compatibility Score, 엄격한 인터페이스 호환성 점수	AIHubMix 인터페이스 규약에 따라 필드, 이벤트 구조 및 반환 동작을 직접 검사	인터페이스 호환성 진단 별도 표시

필드가 존재하고 위치 또는 이름이 프로바이더 문서와 일치하면 네이티브 능력 검사는 실제 구조에 따라 해석합니다. 필드가 완전히 누락되었거나 값이 잘못되었거나 서로 모순되면 실제 검사 결과에 따라 판정합니다. 어댑터 계층은 원시 필드와 매핑 근거를 보존하며, 알 수 없는 값을 기능 통과로 추정하지 않습니다. F_native와 F_strict는 각각 보고하며, 동일 비교 표의 주 점수에서 번갈아 선택할 수 없습니다. 유효 캐시 적중 비율은 응답 속도에 포함하고, 청구 정확성은 별도로 검증합니다.

응답 속도

응답 속도 P는 본문 응답 성능과 유효 캐시 적중으로 구성됩니다. 주 점수는 K_native를 사용합니다.

부하와 샘플링

비사고 프로필 I(Non-thinking Profile, 비사고 부하 프로필)와 사고 프로필 T(Thinking Profile, 사고 부하 프로필)를 각각 측정하고 보고합니다. I, T는 부하 프로필 식별자입니다. I 프로필은 모델이 비사고 모드를 네이티브로 지원할 것을 요구하며, T 프로필은 effort, 사고 예산 및 출력 예산을 기록합니다. C1(Concurrency 1, 단일 동시 요청)과 C10(Concurrency 10, 동시 요청 10개)은 동시에 실행되는 요청 수를 나타냅니다. 여기서 C는 Concurrency를 의미하며 증거 완전성 계층 C와 구분하여 사용합니다.

구성 항목	측정 규약
입력	10,000 ± 2% token, `o200k_base`로 계량; 입력 시작 위치에 고유 접두사를 추가하여 예기치 않은 캐시 적중을 제어
출력	1,000~1,200개 본문 token, 고정 검증 지점 포함
타임아웃	300초, 동일 비교 그룹에서 일관
단일 동시 요청 C1	90회, 3개 윈도우 × 30
동시 요청 10개 C10	90회, 3개 윈도우 × 30
캐시 하위 테스트	30회, 3개 윈도우 × 8k/32k 두 단계 × 5회
격리	응답 품질과 응답 속도는 각각 실행하며, 응답 속도는 독립 측정 시간대 사용

동시 테스트는 폐루프 보충 방식을 사용하여 요청 하나가 완료될 때마다 하나를 추가 발송합니다. C10은 해당 부하에서의 관찰 결과이며 완전한 용량 곡선을 구성하지 않습니다.

타이밍과 유효 출력

지표	영문 전체 이름	정의 및 용도
측정 시작점	Measurement Start Time	사전 연결 완료 후 공식 요청 쓰기가 시작되는 시점; 연결 콜드 스타트 소요 시간은 별도 기록
TTFT	Time to First Token	최초 실제 추론, 본문 또는 도구 파라미터 페이로드까지의 대기 시간; 빈 역할 및 하트비트 이벤트는 제외하며 원시 지표로 사용
TTFA	Time to First Answer	최초 비어 있지 않은 최종 본문 조각까지의 대기 시간으로, 이전 사고 소요 시간을 포함하며 지연 채점에 사용
TPOT	Time per Output Token	본문 생성 단계의 평균 token당 소요 시간으로, 첫 본문 조각과 마지막 본문 조각의 시간 및 해당 token 수를 기준으로 계산
goodput	Valid-Output Throughput	C10 전체 벽시계 시간 동안 정확성 및 완전성 요구를 충족한 유효 본문 token의 초당 수

본문이 한 번에 전체 블록으로 반환되면 TPOT는 무효로 기록하며, 이를 근거로 token별 속도를 구성하지 않습니다. 채점 통계량은 실패 처리를 포함한 P50(50th Percentile, 제50백분위수, 즉 중앙값)을 사용합니다. 경험적 P95(95th Percentile, 제95백분위수) 및 윈도우 간 변동을 별도로 보고하며, 각 단계의 90개 표본으로는 P99(99th Percentile, 제99백분위수) 결론을 지원하지 않습니다. 여기서 P는 Percentile을 의미하며 응답 속도 차원 P와 구분하여 사용합니다.

채점 공식

이 절의 함수 이름과 하위 점수 기호는 이 방법의 계산 표기이며 의미는 다음과 같습니다.

코드	영문 이름	의미
`S(x; τ)`	Latency Score Function	대기 시간 x를 지연 하위 점수로 변환하는 함수, τ는 지연 척도
`L(x; t, k)`	Lower-is-Better Score Function	값이 낮을수록 좋은 채점 함수; 이 절에서는 TPOT에 사용하며 t는 만점 목표, k는 범위 배수
`H(x; t)`	Higher-is-Better Score Function	값이 높을수록 좋은 채점 함수; 이 절에서는 유효 처리량에 사용하며 t는 만점 목표
`l_ttfa`	Answer Latency Subscore	최초 본문 응답 지연 하위 점수로, C1과 C10 두 단계 채점 결과 중 작은 값
`l_tpot`	Output Token Time Subscore	본문 token당 소요 시간 하위 점수로, C1과 C10 두 단계 채점 결과 중 작은 값
`P_response`	Response Performance Score	지연, token당 소요 시간 및 유효 처리량으로 합성한 응답 성능 하위 점수, 캐시 하위 점수 미포함
`P50_TTFA_C1`, `P50_TTFA_C10`	Median Time to First Answer at Concurrency 1 / 10	단일 동시 요청 또는 동시 요청 10개에서 실패 처리를 포함한 TTFA 중앙값
`P50_TPOT_C1`, `P50_TPOT_C10`	Median Time per Output Token at Concurrency 1 / 10	단일 동시 요청 또는 동시 요청 10개에서 실패 처리를 포함한 TPOT 중앙값

A_P는 응답 성능과 캐시 하위 점수를 포함한 절대 응답 속도 점수이고, D_P는 상대 참조 및 증거 합성을 거쳐 총점에 참여하는 응답 속도 차원 점수입니다. 다음 clip은 값을 0에서 1로 제한하며, ln은 자연로그, min은 작은 값 선택, Σ는 합계를 나타냅니다. 수식의 τ, b, c, k는 수식 바로 뒤의 파라미터 표에서 정의합니다.

응답 속도의 절대 성과

S(x; τ) = 100 × τ / (τ + x)
L(x; t, k) = 100 × clip[ln(k·t/x) / ln(k)]
H(x; t) = 100 × clip[ln(x / (0.05·t)) / ln(20)]

l_ttfa = min(S(P50_TTFA_C1; τ), S(P50_TTFA_C10; τ))
l_tpot = min(L(P50_TPOT_C1; b, 10), L(P50_TPOT_C10; b, 10))

goodput = Σ유효 요청 min(본문 tokens, 1000) / Σ C10 윈도우 벽시계 시간

P_response = 0.35 × l_ttfa + 0.35 × l_tpot + 0.30 × H(goodput; c)
A_P = 0.80 × P_response + 0.20 × K_native

매개변수	영문 이름	값	의미
τ	Latency Scale	2초	지연 하위 점수가 50이 되는 TTFA
b	Target Time per Output Token	5 ms/token	TPOT 만점 목표; 이 값에 도달하거나 낮으면 100
c	Target Valid-Output Throughput	1,200 token/s	C10 유효 처리량 만점 목표; 이 값에 도달하거나 높으면 100
k	TPOT Range Multiplier	10	TPOT 로그 매핑의 범위 배수

위 목표는 이 표준이 규정한 부하에 적용되며 모든 모델 및 모든 워크로드의 범용 임계값을 의미하지 않습니다.

TTFA	0초	1초	2초	4초	10초
지연 하위 점수	100	66.7	50	33.3	16.7

무효 출력과 측정 격리

길이 불일치, 검증 지점 오류, 반복 퇴화, 스트림 내 오류, 비정상 종료 또는 절단된 출력은 무효로 판정하며 부하 및 소요 시간에는 계속 포함합니다. P50 계산 전에 다음 처리를 적용합니다.

TTFA는 양의 무한대로 계산하고 해당 지연 점수는 0으로 합니다.
TPOT는 10b, 즉 50 ms/token으로 계산합니다.
goodput의 유효 출력 기여는 0이며, 시간은 해당 C10 윈도우에 유지합니다.
원시 실측 소요 시간은 별도로 보존하며 채점 처리 값으로 덮어쓰지 않습니다.

유효 요청 수, 계획 수 및 출력 유효율을 함께 보고합니다. 성능 결과에는 서비스 실패가 제공에 미치는 영향이 포함되며, 성공 요청의 지연만으로 해석할 수 없습니다.

캐시 적중

캐시 하위 점수 K(Cache Hit Score, 유효 캐시 적중 하위 점수)는 재사용 가능한 접두사 중 실제로 캐시 읽기로 보고된 token 비율을 측정합니다. 각 길이에 대해 핫 요청의 읽기량과 재사용 가능량을 먼저 집계한 후, 8k와 32k 두 길이를 동일 가중치로 합성합니다.

코드	영문 전체 이름	의미
`K_length`	Length-Specific Cache Hit Score	특정 접두사 길이 단계의 유효 캐시 적중 하위 점수
`K_8k`	8k-Prefix Cache Hit Score	약 8k token 접두사 단계의 유효 캐시 적중 하위 점수
`K_32k`	32k-Prefix Cache Hit Score	약 32k token 접두사 단계의 유효 캐시 적중 하위 점수
`cache_read_native_tokens`	Cache-Read Native Token Count	핫 요청이 실제 보고한 캐시 읽기 네이티브 token 수, 캐시 쓰기 미포함
`expected_reusable_native_tokens`	Expected Reusable Native Token Count	규칙상 재사용 가능한 접두사 네이티브 token 수, 적중률 분모로 사용

여기서 native_tokens는 지정된 네이티브 tokenizer로 계량한 token을 의미하며, K_native에서 프로바이더 문서 구성을 의미하는 native와 구분하여 해석합니다.

캐시 적중 하위 점수

K_length = 100 × Σ핫 요청 cache_read_native_tokens
                 / Σ핫 요청 expected_reusable_native_tokens

K = (K_8k + K_32k) / 2

서로 다른 길이를 합친 token 가중 적중률은 진단 지표로 사용할 수 있으며, 주 점수의 동일 가중치 K를 대체하지 않습니다.

테스트 시퀀스와 분모

각 그룹은 고정된 긴 접두사와 변화하는 새 질문을 사용하며 총 5회 요청합니다.

최초 요청은 캐시에 쓰며, 접두사 시작 위치에 독립적인 무작위 식별자를 추가하여 서로 다른 테스트 그룹을 격리합니다.
2~4번째 요청은 접두사를 바이트 단위로 동일하게 유지하고 끝에 서로 다른 짧은 질문을 사용하며, 각각 이전 요청 완료 후 5초, 30초, 120초에 시작합니다.
5번째 요청은 완전히 독립적인 새 접두사로 교체하여 콜드 대조로 사용합니다.

세 윈도우는 각각 약 8k, 32k 두 단계를 포함하여 총 30회 요청합니다. 2~4번째 요청만 핫 적중 채점에 포함되며, 각 길이에는 9개의 핫 요청 기회가 있습니다. 최초 쓰기와 콜드 대조는 별도로 검증합니다. 분모는 등록된 재사용 가능 접두사 네이티브 token 수를 사용하며, 지정 tokenizer, 템플릿 및 캐시 규칙을 근거로 합니다. 새 질문 및 재사용 불가 부분은 별도로 식별하고, 전체 입력 token, 실제 적중량 또는 o200k_base 집계로 분모를 대체하지 않습니다. 블록 단위로 보고된 읽기량은 원래 값과 블록 크기를 보존합니다. 주 점수는 **K_native**를 사용합니다. 프로바이더 문서에 따라 캐시를 활성화하는 데 필요한 구성을 적용하며, 필요한 세션 어피니티 필드는 연동 어댑터에 속합니다. **K_default**는 세션 어피니티 구성을 추가하지 않은 상태의 결과를 기록하며 기본 구성 진단으로 사용합니다. 모든 프로바이더는 동일한 구성 판정 원칙에 따라 실행하며, 보고서에는 구체적 구성을 보존합니다.

이상 및 관찰 불가 상황

상황	처리
재사용 가능 분모 미확인	K 사용 불가, 0으로 기록하지 않음
성공 요청에 캐시 읽기 필드 누락	기본적으로 관찰 불가로 기록; 문서가 0 적중 시 필드 생략을 명시하고 등록되었으며 증거가 일치할 때만 0으로 해석
읽기량이 분모를 초과하거나 필드 충돌	이상 및 원래 값 기록, 100%로 절단하지 않음
콜드 대조 성공 및 읽기량 0	콜드 대조 증거로 사용 가능; 완료하지 못한 대조는 제한 상태 유지
핫 요청 실패 및 분모 확인 가능	읽기량을 0으로 포함, 실패 기록은 별도 표시
모델이 캐시를 네이티브로 지원하나 서비스가 제공하지 않음	K = 0
모델이 캐시를 네이티브로 지원하지 않으며 사전 정의됨	No-cache 등급으로 별도 표시, `A_P = P_response`, 캐시 포함 등급과 각각 보고
적중 계량 미지원	K 및 P 사용 불가 표시, 캐시 가중치 미이전

usage는 인터페이스가 보고한 캐시 읽기량만 입증할 수 있습니다. 실제 비용은 확인을 거친 후에만 검증됨으로 표시할 수 있습니다. 캐시 적중은 무료와 같지 않으며 총비용 절감을 보장하지도 않습니다.

서비스 안정성

서비스 안정성 R은 고정 요청 집합의 최초 유효 완료 비율을 측정하며, 채점에 자동 재시도 또는 모델 프로바이더 간 폴백을 사용하지 않습니다.

서비스 안정성의 절대 성과

A_R = 100 × 최초 유효 완료 수 / 유효 계획 기회 수

완전한 계획 기회 수 = 300

테스트 집합과 성공 조건

테스트는 총 300회 기회로 구성되며 3개 윈도우에 분포하고 윈도우당 100회입니다. 매 100회는 동일한 작업 조합을 사용합니다: 짧은 텍스트 40, 약 10k 긴 입력 30, 도구 프로토콜 호출 20, 다중 라운드 기록이 있는 단일 호출 10. 도구 작업은 미리 만든 유효 기록을 사용하여 채점 분모를 안정적으로 유지합니다. 기본은 단일 동시 요청이며, 요청 속도는 확인된 RPM, TPM 할당량 내로 유지합니다. 이 스위트는 독립적으로 실행하며 응답 품질 문항, 기능 부정 사례, 진단 재시도, 워밍업 또는 스트레스 부하 요청을 섞지 않습니다. 최초 성공은 다음을 동시에 충족해야 합니다.

HTTP 상태가 예상과 일치하고 응답 구조 및 이벤트 시퀀스가 유효합니다.
본문 또는 도구 페이로드가 비어 있지 않고 정상 종료됩니다.
스트림 내 오류, 예기치 않은 절단 또는 필수 필드 누락이 없습니다.
규정된 usage 필드가 완전하고 해당 인터페이스 구조에 따라 해석됩니다.
300초 마감 시간 내에 완료됩니다.

HTTP 200만으로는 성공을 판정하기에 충분하지 않으며, 작업 응답 오류와 서비스 실패는 각각 집계합니다.

실패, 무효 기록 및 구간

할당량 내의 429, 서버 오류, 연결 실패, 타임아웃, 빈 반환, 스트림 끊김 및 비정상 절단은 실패로 계산합니다. 모델 프로바이더 장애로 계획 요청을 발송하지 못하면 실패로 포함하고 원인을 기록합니다. 테스트 환경 또는 테스터 이상은 INVALID로 표시하고 피평가 서비스에 귀책하지 않으며, 유효 기회 수 및 커버리지 제한을 함께 보존합니다. 진단 요청은 별도로 기록하며 최초 결과를 대체하지 않습니다. 성공률은 양측 95% Clopper–Pearson 구간으로 보고합니다. 300/300의 관찰 성공률은 100%이며, 구간 하한은 약 98.78%로 장기 서비스 성공률이 100%임을 여전히 입증하지 못합니다. 윈도우별 및 작업 범주별 실패 분포와 최장 연속 실패 구간을 기록합니다.

테스트 규모와 비교 가능성

표본 규모

다음은 AF Suite에서 AF Full의 계획 규모입니다.

항목	프로바이더별 계획 규모	구성
응답 품질	4,250개 인스턴스	BFCL 1,500, HLE 2,500, AA-LCR 250
기능 지원	180개 판정	60개 사례 × 3개 윈도우
응답 속도	180회 요청	C1/C10 각 90회, 3개 윈도우에 분포
캐시	30회 요청	3개 윈도우 × 두 가지 접두사 길이 × 5회
서비스 안정성	300회 기회	3개 윈도우 × 100회

작업 인스턴스 수, API 요청 수 및 판정자 요청 수는 각각 집계하며, 다단계 도구 작업 및 사례 내 반복은 추가 요청에 대응할 수 있습니다.

실행 조건

동일 비교 그룹은 문제 세트, 라운드, 타임아웃, 온도, 출력 예산, 실패 처리 및 채점 공식을 통일합니다.
동일한 클라이언트, 네트워크 지역 및 연결 전략을 사용하며, 계정 서비스 등급, 실제 시작 및 종료 시간, 실행 순서를 기록합니다.
전체 테스트는 3개 윈도우를 사용하고 윈도우 간격은 최소 60분입니다. 응답 품질과 응답 속도는 각각 실행합니다.
모델 ID, 인증, 필수 필드, 스트리밍 형식, 사용량 매핑, 캐시 의미 및 tokenizer 근거를 어댑터 기록으로 구성합니다.
연동 어댑터는 샘플링 전에 등록 및 검증하며, 동일 규칙을 모든 해당 모델 프로바이더에 적용합니다.
채점 주 보기는 F_native와 K_native를 일관되게 사용하며, 호환성 및 기본 구성 진단은 각각 보고합니다.
최초 실행 결과는 계속 보존하며, 계획량, 실제량, 필터, 실패, 무효 및 미관찰 기록을 각각 확인합니다.

테스트는 승인된 할당량, 권한 및 비용 범위 내에서 실행합니다. 필수 조건이 충족되지 않으면 결과는 제한, 미완료 또는 사용 불가 상태를 유지하며, 남은 항목에 대해 다시 정규화하지 않습니다.

데이터셋 출처와 결과 기록

데이터셋 출처

응답 품질은 버전이 지정된 파생 문제 세트를 사용하며, 출처, 샘플링 기록 및 완전성 검증 정보를 보존합니다. AF Full의 응답 품질 문제 세트는 775개의 서로 다른 문항을 포함하며, 출처 스냅샷은 다음과 같습니다.

방향	출처 스냅샷	버전 기록	라이선스 및 사용 경계
BFCL	Berkeley Function Calling Leaderboard 데이터 및 검사기	`6ea57973c7a6`	원본 저장소 Apache-2.0; 이 평가는 파생 문제 세트 및 검사 어댑터 사용
HLE	텍스트 미러 스냅샷; 공식 데이터셋	미러 `e3e9cb5a550e`	출처 기록상 MIT; 공식 현재 버전과 바이트 단위 동일 여부 미검증
AA-LCR	Artificial Analysis AA-LCR 데이터 및 문서 스냅샷	`9a77ef56b717`	데이터셋 저장소 Apache-2.0; 인용 문서의 제3자 권리는 원 권리자에게 계속 귀속

BFCL은 범주별 할당량으로 샘플링하고, HLE와 AA-LCR은 계층 비율로 샘플링하며 각 계층의 최소 커버리지를 보장합니다. 샘플링은 지정 시드 및 SHA-256 정렬을 사용하며, 문제 세트 버전, 필터 목록 및 채점 프로토콜을 결과와 함께 기록합니다. 위 링크는 원본 출처를 검증하는 데 사용하며, AF 점수를 직접 재현할 수 있는 완전한 평가 패키지와 동일하지 않습니다. 제한 데이터는 이 문서에서 재배포하지 않으며, 구체적 라이선스는 해당 출처를 따릅니다.

결과 기록과 검증

프로바이더 보고서는 통칭 AF Profile이며 다음 평가 정보를 기록합니다.

기록 범주	필수 내용
평가 식별 정보	표준 및 문제 세트 버전, 모델 프로바이더, 정확한 모델 버전 및 공식 참조 서비스
측정 조건	사고 구성, 계정 등급, 지역, 시간대, 타임아웃, 동시성 및 성능 파라미터
어댑터 근거	문서 확인 날짜, 필수 필드, 스트리밍 구조, 사용량 파싱 및 캐시 구성
표본 커버리지	계획 수, 실제 수, 채점 분모, 필터, 실패, 무효 및 미관찰 항목
채점 근거	표준 답변, 검사기 또는 판정자 구성, 채점 상태 및 편향 평가
원시 측정	비식별화된 요청 및 응답, 이벤트 시간, 상태, 종료 원인 및 원시 `usage`
집계 결과	A/B/C 계층 입력, 네 가지 D 점수, 총점, 차원 구간 및 미반올림 값
진단 지표	`F_strict`, `K_default`, 유효율, 오류 범주 및 해당 적용 제한

서비스 성공, 작업 정확성 및 출력 유효는 각각 표시합니다. 부정 사례는 서비스 안정성 점수에 섞지 않고, 캐시 읽기와 쓰기는 각각 계량하며, 추정 비용과 실제 비용의 검증 상태는 별도로 기록합니다. 대외 표시 전에 키, 사용자 식별자 및 민감한 내용을 제거하고, 값에는 단위를 붙이며 누락값은 상태를 유지합니다.

참고 데이터와 계산 예시

다음은 DeepSeek V4.1 Flash 1017의 다섯 프로바이더 결과를 사용하여 계산 방법을 설명합니다. 주 점수는 F_native와 K_native를 사용합니다. 값은 소수점 두 자리로 표시하며, 계산은 결과 파일에 저장된 중간값을 기준으로 합니다.

이 절은 참고 결과(PROVISIONAL)입니다. 수집 및 어댑터의 사전 등록 증거가 불완전하여 AIHubMix Fidelitas Standard의 정식 AF Full 결과로 사용할 수 없습니다. 응답 품질은 프로바이더별로 4,240개 인스턴스를 포함하며, 별도로 10개의 필터링된 인스턴스가 있습니다. HLE/AA-LCR의 판정자는 피평가 모델과 같은 DeepSeek 계열이므로 독립 캘리브레이션 증거가 충분하지 않습니다. 결과는 기록된 구성 및 관찰 범위로 제한됩니다.

절대 성과와 캐시 하위 점수

다음 표의 Q, F, P, R은 모두 절대 성과 A이며, 총점의 네 가지 차원 표시 점수로 직접 사용하지 않습니다. K는 P에 포함된 캐시 하위 점수입니다.

모델 프로바이더	A_Q	F_native (A_F)	A_P	K_native	A_R
ByteDance	42.05	74.98	84.37	93.83	100.00
Baidu	38.00	88.39	37.77	68.85	100.00
Alibaba Cloud	41.75	89.78	88.58	99.37	100.00
DeepSeek 공식 참조	42.45	94.00	86.14	98.38	100.00
Fireworks	41.42	71.78	79.51	60.68	100.00

다섯 프로바이더의 서비스 안정성 스위트는 모두 300/300입니다. 다른 스위트의 서비스 실패는 여전히 해당 차원에 포함되며, R 스위트 결과로 대체할 수 없습니다.
Fireworks의 K_native는 문서가 규정한 세션 어피니티 구성을 사용하며, 나머지 서비스는 각자 문서가 요구하는 구성으로 측정합니다.
Baidu의 K는 0 적중 시 필드 생략을 0으로 해석하는 표본 규칙을 적용했으며 관련 사전 등록 증거가 불완전합니다. 8k 콜드 대조에 미완료 기록이 있어 K는 참고 상태를 유지합니다.
DeepSeek의 F_strict는 27개 INVALID 기록으로 사용 불가이며, F_native는 유효 적용 기록으로 계산합니다.

기능 지원의 차원 합성

Alibaba Cloud를 예로 들면, 절대 기능 지원 점수 A_F = 89.777778, 공식 참조의 동일 항목 절대 점수는 94, 차이 척도 δ_F = 15, 증거 완전성 C_F = 100입니다. 먼저 상대 참조 점수 B_F를 계산한 후 차원 점수 D_F를 합성합니다.

상대 참조와 기능 차원 점수

B_F = 50 + 50 × clip((89.777778 − 94) / 15, −1, 1)
    ≈ 35.925926

D_F = 0.65 × 89.777778 + 0.20 × 35.925926 + 0.15 × 100
    ≈ 80.540741

89.78은 네이티브 기능 절대 성과를, 80.54는 총점 계산에 참여하는 기능 차원 표시 점수를 나타냅니다.

공식 참조의 서비스 안정성 점수

공식 참조의 R 스위트는 300/300이며, 절대 서비스 안정성 점수 A_R = 100, 상대 참조 점수 B_R = 50, 증거 완전성 C_R = 100입니다.

서비스 안정성의 차원 합성

D_R = 0.65 × 100 + 0.20 × 50 + 0.15 × 100
    = 90

100%는 이번 라운드 서비스 안정성 스위트의 관찰 성공률이고, 90은 세 계층 합성 후의 차원 표시 점수입니다.

차원 표시 점수와 총점

다음 표는 D 값을 사용하며 총점 공식에 대응합니다. 표는 서비스 표시 순서를 따르며 점수순으로 정렬하지 않습니다.

모델 프로바이더	응답 품질 D_Q	기능 지원 D_F	응답 속도 D_P	서비스 안정성 D_R	총점
ByteDance	50.83	62.24	76.57	88.50	66.37
Baidu	36.70	75.71	36.55	87.00	56.48
Alibaba Cloud	52.13	80.54	85.01	90.00	73.38
DeepSeek 공식 참조	52.59	84.60	80.99	90.00	73.76
Fireworks	50.42	60.16	68.55	88.50	64.10

공식 참조를 예로 들면 다음과 같습니다.

총점 계산

Overall = 0.35 × 52.594340 + 0.25 × 84.600000
        + 0.20 × 80.990116 + 0.20 × 90.000000
        ≈ 73.76

독립 진단 지표

모델 프로바이더	F_strict	K_default
ByteDance	56.83	93.83
Baidu	66.17	68.85
Alibaba Cloud	89.78	99.37
DeepSeek 공식 참조	사용 불가	98.38
Fireworks	71.78	11.06

F_strict는 인터페이스 호환성을, K_default는 세션 어피니티 구성을 추가하지 않은 상태의 캐시 결과를 나타냅니다. 두 열 모두 주 점수 입력을 대체하지 않습니다. 응답 품질의 공식 참조 대비 차이 구간에서 ByteDance, Alibaba Cloud 및 Fireworks의 95% 구간은 모두 0을 포함하므로 해당 B_Q = 50입니다. Baidu의 차이는 약 −4.46 퍼센트포인트이며 95% 구간은 약 −5.78에서 −3.16 퍼센트포인트입니다. 이 결론은 이번 작업 집합 및 관찰 조건으로 제한되며 총점의 통계적 유의성 결론으로 확장되지 않습니다.

표준과 적용 조건

표준 식별자: AIHubMix Fidelitas Standard v2.0. 결과에는 AF Suite, 어댑터 구성, 채점 프로토콜 및 측정 조건을 함께 기록합니다. 서로 다른 구성 또는 통계 기준의 결과는 각각 해석합니다. 모델 페이지의 네 가지 점수는 D 값이며, 보고서의 정확률, 기능 통과율, 지연, 캐시 비율 및 최초 성공률은 해당 원시 지표 또는 A 값입니다. 총점은 요약 표시에 사용하며, 구체적 연동 판단은 차원 결과, 기능 요구 및 증거 조건을 근거로 합니다. 관련 문서: 모델 선택 · 모델 상세 정보 및 비교 문서 날짜: 2026-11-05

​평가 범위와 읽는 방법

​점수 상태

​결과 해석

​총점과 차원 합성

​총점 공식

​세 계층 합성

​공식 참조 대비 B

​증거 완전성 C

​응답 품질

​문제 세트와 채점

​비교 조건과 누락 처리

​기능 지원

​기능 그룹과 가중치

​판정 상태

​네이티브 능력과 인터페이스 호환성

​응답 속도

​부하와 샘플링

​타이밍과 유효 출력

​채점 공식

​무효 출력과 측정 격리

​캐시 적중

​테스트 시퀀스와 분모

​이상 및 관찰 불가 상황

​서비스 안정성

​테스트 집합과 성공 조건

​실패, 무효 기록 및 구간

​테스트 규모와 비교 가능성

​표본 규모

​실행 조건

​데이터셋 출처와 결과 기록

​데이터셋 출처

​결과 기록과 검증

​참고 데이터와 계산 예시

​절대 성과와 캐시 하위 점수

​기능 지원의 차원 합성

​공식 참조의 서비스 안정성 점수

​차원 표시 점수와 총점

​독립 진단 지표

​표준과 적용 조건

평가 범위와 읽는 방법

점수 상태

결과 해석

총점과 차원 합성

총점 공식

세 계층 합성

공식 참조 대비 B

증거 완전성 C

응답 품질

문제 세트와 채점

비교 조건과 누락 처리

기능 지원

기능 그룹과 가중치

판정 상태

네이티브 능력과 인터페이스 호환성

응답 속도

부하와 샘플링

타이밍과 유효 출력

채점 공식

무효 출력과 측정 격리

캐시 적중

테스트 시퀀스와 분모

이상 및 관찰 불가 상황

서비스 안정성

테스트 집합과 성공 조건

실패, 무효 기록 및 구간

테스트 규모와 비교 가능성

표본 규모

실행 조건

데이터셋 출처와 결과 기록

데이터셋 출처

결과 기록과 검증

참고 데이터와 계산 예시

절대 성과와 캐시 하위 점수

기능 지원의 차원 합성

공식 참조의 서비스 안정성 점수

차원 표시 점수와 총점

독립 진단 지표

표준과 적용 조건