모델 자동 라우팅(Auto Router)

단 하나의 model=auto로 “어떤 모델을 쓸지”를 게이트웨이에 맡깁니다.

​

적용 시나리오

• 범용 애플리케이션: 사용자가 어떤 유형의 요청을 보낼지 확신할 수 없을 때, auto 에게 맡겨 내용에 따라 분배합니다.
• 비용 최적화: 간단한 작업은 더 저렴하고 빠른 모델로 자동 배치되도록 합니다(auto 는 기본적으로 비용 우선).
• 품질 최적화: 복잡한 요청이 더 강력한 모델로 라우팅되도록 보장합니다(auto:quality_first).
• 저지연 시나리오: 실시간 음성, 에이전트의 다중 턴 루프에서 응답이 가장 빠른 모델을 우선 선택합니다(auto:latency_critical).
• 통합 진입점, 모델 선정 불필요: 서로 다른 유형의 요청이 각자 최적의 모델로 자동 분배됩니다 — “작업 → 모델” 매핑 표를 유지할 필요도, 모델 업데이트를 지속적으로 추적하며 수동으로 가격을 비교하고 이름을 바꿀 필요도 없습니다.

​

빠른 시작

curl https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [
      { "role": "user", "content": "What is the meaning of life?" }
    ]
  }'

​

실제로 사용된 모델을 확인하는 방법

• 응답 본문의 model 필드에는 실제로 사용된 모델(예: mimo-v2.5-pro)이 채워지며, auto 가 아닙니다.
• 응답 헤더는 완전한 결정 정보를 제공합니다:

HTTP 응답 헤더는 대소문자를 구분하지 않습니다. 위 표는 관례상 첫 글자를 대문자로 표기했지만, 실제 HTTP/2 응답은 소문자 x-aihubmix-router-* 로 반환되며 둘은 동일합니다.

curl -i https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [
      { "role": "user", "content": "What is the meaning of life?" }
    ]
  }' | grep -i "^x-aihubmix-router"

x-aihubmix-router-decision-id: 05dbad09-33c5-42de-85b5-559fdb73eb4c
x-aihubmix-router-dimension: text.overall
x-aihubmix-router-policy: cost_optimized
x-aihubmix-router-reason: policy=cost_optimized dim=text.overall top=0.182 survivors=20/33
x-aihubmix-router-resolved-model: xiaomi-mimo-v2.5-pro

​

라우팅 정책

# 품질 우선 + 코드 작업
curl -i https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto:quality_first",
    "messages": [
      { "role": "user", "content": "Write a Python function to reverse a linked list." }
    ]
  }' | grep -i "^x-aihubmix-router"

latency_critical 은 -think 가 아닌 버전을 선택했습니다 — thinking 변형은 추론 지연이 더 높아, 저지연 정책은 이를 능동적으로 회피합니다. 정책 가중치가 단지 능력만 보는 것이 아니라 “능력 / 비용 / 지연” 의 절충에 실제로 작용함을 알 수 있습니다.

내용 또한 결과를 바꿉니다: 동일한 auto:quality_first 를 코드 작업에 적용하면(위 예시의 요청), 차원이 text.overall 에서 text.coding 으로 바뀌고 실측 결과 claude-opus-4-6-think 가 선택됩니다 — 정책과 요청 내용이 함께 최종 모델을 결정합니다.

​

작동 원리

claude-fable-5 의 능력 점수가 가장 높음(1510)에도 불구하고, 비용이 더 높고 지연이 더 커서 종합 점수가 3위로 밀린 점에 주목하세요. 이것이 바로 가중 점수 산정의 의미입니다: “능력 지상주의” 가 아니라, 정책에 따라 능력 / 비용 / 지연 사이에서 절충합니다.

​

안정성과 장애 대응

​

과금 안내

​

제한 사항

• 자동 라우팅은 현재 대화 완성 인터페이스 /v1/chat/completions 를 대상으로 합니다(자세히 보기: FAQ: 어떤 인터페이스를 지원하나요).
• ?router=off 또는 요청 헤더 X-Router-Off 는 model=auto 가 곧바로 400 을 반환하게 합니다 — 이는 “auto 를 쓰면서 라우팅을 끄려는” 모호한 사용법을 명확히 거부하는 것이며, 조용히 무시하는 것이 아닙니다:
  curl -i "https://aihubmix.com/v1/chat/completions?router=off" \
    -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
    -H "Content-Type: application/json" \
    -d '{"model":"auto","messages":[{"role":"user","content":"hi"}]}'
  # → HTTP/1.1 400 Bad Request
  # {"error":{"message":"auto requires router enabled; remove ?router=off / X-Router-Off", ...}}
  
• 후보 집합은 플랫폼 catalog 에 따라 동적으로 변합니다: 동일한 auto 라도 시점이 다르면 다른 모델이 선택될 수 있습니다(이는 설계상 의도된 것으로, 응답 헤더로 복기 가능).

​

OpenRouter / LiteLLM 과의 차이점

​

자주 묻는 질문 FAQ

​

관련 리소스

• 모델 매핑과 폴백: Key 단위 고정 별칭 + 실패 폴백, 자동 라우팅과 상호 보완적입니다.
• 통합 추론 파라미터: 모델 전반에 걸쳐 일관된 요청 파라미터.
• AIHubMix 모델 페이지: 모델 이름, 가격 및 Input Modalities 조회.