LLM Router (roteamento inteligente de modelos)

Um único model=auto entrega ao gateway a decisão de “qual modelo usar”.

​

Casos de uso

• Distribuição automática por contexto: atribui automaticamente o modelo mais adequado conforme o contexto atual do usuário — especialmente útil para agents / apps que chamam modelos muitas vezes e não conseguem fixar de antemão a escolha do modelo em cada etapa.
• Otimização de custo: deixe que tarefas simples caiam automaticamente em modelos mais baratos e mais rápidos (auto é, por padrão, custo prioritário).
• Otimização de qualidade: garanta que requisições complexas sejam roteadas para modelos mais capazes (auto:quality_first).
• Cenários de baixa latência: loops de agent multironda, chat interativo em tempo real e outros cenários sensíveis à latência preferem o modelo de resposta mais rápida (auto:latency_critical).
• Entrada unificada, sem seleção manual: requisições de tipos diferentes são distribuídas automaticamente para o modelo ideal de cada uma — sem precisar manter uma tabela de mapeamento “tarefa → modelo”, nem acompanhar continuamente as iterações de modelos ou comparar preços e trocar nomes manualmente.

​

Início rápido

curl https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [
      { "role": "user", "content": "What is the meaning of life?" }
    ]
  }'

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

resp = client.chat.completions.create(
    model="auto",  # deixa o gateway selecionar o modelo automaticamente
    messages=[
        {"role": "user", "content": "What is the meaning of life?"},
    ],
)

print(resp.choices[0].message.content)
print("Modelo realmente usado:", resp.model)  # não é "auto", e sim o nome real do modelo

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: "<AIHUBMIX_API_KEY>",
  baseURL: "https://aihubmix.com/v1",
});

const resp = await client.chat.completions.create({
  model: "auto", // deixa o gateway selecionar o modelo automaticamente
  messages: [
    { role: "user", content: "What is the meaning of life?" },
  ],
});

console.log(resp.choices[0].message.content);
console.log("Modelo realmente usado:", resp.model); // nome real do modelo

​

Como confirmar o modelo realmente usado

• O campo model do corpo da resposta é preenchido com o modelo realmente usado (por exemplo, mimo-v2.5-pro), e não auto.
• Os cabeçalhos da resposta trazem as informações completas da decisão:

Cabeçalhos HTTP são insensíveis a maiúsculas/minúsculas: a tabela acima usa inicial maiúscula por convenção, mas a resposta HTTP/2 real vem em minúsculas como x-aihubmix-router-*; ambos são equivalentes.

curl -i https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [
      { "role": "user", "content": "What is the meaning of life?" }
    ]
  }' | grep -i "^x-aihubmix-router"

# reutiliza o client criado acima; with_raw_response permite obter os cabeçalhos da resposta
raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[
        {"role": "user", "content": "What is the meaning of life?"},
    ],
)

print("Modelo usado:", raw.headers.get("x-aihubmix-router-resolved-model"))
print("Política:", raw.headers.get("x-aihubmix-router-policy"))
print("Dimensão:", raw.headers.get("x-aihubmix-router-dimension"))

completion = raw.parse()  # converte para um objeto completion normal
print("body.model:", completion.model)

// reutiliza o client criado acima; .withResponse() permite obter os cabeçalhos brutos da resposta
const { data: completion, response } = await client.chat.completions
  .create({
    model: "auto",
    messages: [
      { role: "user", content: "What is the meaning of life?" },
    ],
  })
  .withResponse();

console.log("Modelo usado:", response.headers.get("x-aihubmix-router-resolved-model"));
console.log("Política:", response.headers.get("x-aihubmix-router-policy"));
console.log("Dimensão:", response.headers.get("x-aihubmix-router-dimension"));
console.log("body.model:", completion.model);

x-aihubmix-router-decision-id: 05dbad09-33c5-42de-85b5-559fdb73eb4c
x-aihubmix-router-dimension: text.overall
x-aihubmix-router-policy: cost_optimized
x-aihubmix-router-reason: policy=cost_optimized dim=text.overall top=0.182 survivors=20/33
x-aihubmix-router-resolved-model: xiaomi-mimo-v2.5-pro

​

Políticas de roteamento

# qualidade prioritária + tarefa de código
curl -i https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto:quality_first",
    "messages": [
      { "role": "user", "content": "Write a Python function to reverse a linked list." }
    ]
  }' | grep -i "^x-aihubmix-router"

raw = client.chat.completions.with_raw_response.create(
    model="auto:quality_first",  # qualidade prioritária
    messages=[
        {"role": "user", "content": "Write a Python function to reverse a linked list."},
    ],
)

print(raw.headers.get("x-aihubmix-router-resolved-model"))
print(raw.headers.get("x-aihubmix-router-dimension"))

const { response } = await client.chat.completions
  .create({
    model: "auto:quality_first", // qualidade prioritária
    messages: [
      { role: "user", content: "Write a Python function to reverse a linked list." },
    ],
  })
  .withResponse();

console.log(response.headers.get("x-aihubmix-router-resolved-model"));
console.log(response.headers.get("x-aihubmix-router-dimension"));

O latency_critical escolheu a versão sem -think — variantes de thinking têm latência de raciocínio maior, e a política de baixa latência as evita ativamente. Vê-se que os pesos da política atuam de fato no trade-off entre “capacidade / custo / latência”, e não apenas na capacidade.

O conteúdo também muda o resultado: aplicar o mesmo auto:quality_first em uma tarefa de código (a requisição do exemplo acima) faz a dimensão mudar de text.overall para text.coding, com modelo usado medido claude-opus-4-6-think — política e conteúdo da requisição determinam juntos o modelo final.

​

Como funciona

Note que o claude-fable-5 tem a maior pontuação de capacidade (1510), mas, por ter custo mais alto e latência maior, foi rebaixado para terceiro na pontuação composta. É exatamente esse o sentido da pontuação ponderada: não é “só capacidade”, e sim ponderar capacidade / custo / latência conforme a política.

• Texto: text.coding = escrever / depurar código, text.math = resolução matemática, text.longer_query = texto longo, text.language.chinese = chinês, text.occupational.legal / text.occupational.medicine = cenários profissionais jurídicos / médicos.
• Visão: vision.ocr = reconhecer texto em imagens, vision.diagram = entender gráficos / fluxogramas, vision.overall = compreensão geral de imagens.

​

Ranking de Pontuações e Pool de Modelos

​

Confiabilidade e tolerância a falhas

​

Sobre a cobrança

​

Limitações

• O roteamento inteligente é atualmente voltado para a interface de chat completion /v1/chat/completions e para as interfaces de geração / edição de imagem /v1/images/* (veja FAQ: quais interfaces são suportadas).
• ?router=off ou o cabeçalho X-Router-Off faz o model=auto retornar diretamente 400 — é uma recusa explícita ao uso ambíguo de “querer auto e ao mesmo tempo desligar o roteamento”, e não uma ignorância silenciosa:
  curl -i "https://aihubmix.com/v1/chat/completions?router=off" \
    -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
    -H "Content-Type: application/json" \
    -d '{"model":"auto","messages":[{"role":"user","content":"hi"}]}'
  # → HTTP/1.1 400 Bad Request
  # {"error":{"message":"auto requires router enabled; remove ?router=off / X-Router-Off", ...}}
  
• O conjunto de candidatos muda dinamicamente conforme o catalog da plataforma: o mesmo auto pode usar modelos diferentes em momentos diferentes (isso é por design e pode ser auditado pelos cabeçalhos da resposta). O escopo atual de candidatos pode ser consultado pelo endpoint Escopo de Modelos da Estratégia LLM Router.

​

Diferenças em relação ao OpenRouter / LiteLLM

​

Perguntas frequentes FAQ

​

Recursos relacionados

• Mapeamento de modelos e fallback: alias fixo em nível de Key + fallback em caso de falha, complementar ao roteamento inteligente.
• Parâmetros de inferência unificados: parâmetros de requisição consistentes entre modelos.
• Página de modelos da AIHubMix: consulte nome do modelo, preço e Input Modalities.
• Escopo de Modelos da Estratégia LLM Router: acesso sem login ao subconjunto público de 23 subdimensões (das 30+ dimensões de roteamento) e ao pool de modelos roteáveis.