LLM Router (intelligentes Modell-Routing)

Ein model=auto – überlassen Sie die Frage “welches Modell” dem Gateway.

​

Anwendungsfälle

• Automatische Verteilung nach Kontext: weist je nach aktuellem Kontext des Nutzers automatisch das am besten geeignete Modell zu — besonders nützlich für Agents / Apps, die Modelle viele Male aufrufen und die Modellwahl für jeden Schritt nicht im Voraus fest verdrahten können.
• Kostenoptimierung: Lassen Sie einfache Aufgaben automatisch auf günstigere, schnellere Modelle fallen (auto ist standardmäßig kostenoptimiert).
• Qualitätsoptimierung: Stellen Sie sicher, dass komplexe Anfragen an leistungsfähigere Modelle geleitet werden (auto:quality_first).
• Latenzkritische Szenarien: Mehrrunden-Agent-Schleifen, interaktive Echtzeit-Chats und andere latenzempfindliche Szenarien bevorzugen das schnellste Modell (auto:latency_critical).
• Einheitlicher Einstieg, keine Modellauswahl: Unterschiedliche Anfragetypen werden automatisch an das jeweils optimale Modell verteilt – Sie müssen weder eine “Aufgabe → Modell”-Zuordnungstabelle pflegen noch Modell-Iterationen verfolgen, Preise vergleichen oder Namen manuell wechseln.

​

Schnellstart

curl https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [
      { "role": "user", "content": "What is the meaning of life?" }
    ]
  }'

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

resp = client.chat.completions.create(
    model="auto",  # Modellauswahl dem Gateway überlassen
    messages=[
        {"role": "user", "content": "What is the meaning of life?"},
    ],
)

print(resp.choices[0].message.content)
print("Tatsächlich genutztes Modell:", resp.model)  # nicht "auto", sondern der echte Modellname

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: "<AIHUBMIX_API_KEY>",
  baseURL: "https://aihubmix.com/v1",
});

const resp = await client.chat.completions.create({
  model: "auto", // Modellauswahl dem Gateway überlassen
  messages: [
    { role: "user", content: "What is the meaning of life?" },
  ],
});

console.log(resp.choices[0].message.content);
console.log("Tatsächlich genutztes Modell:", resp.model); // echter Modellname

​

So bestätigen Sie das tatsächlich genutzte Modell

• Das Feld model im Antwort-Body enthält das tatsächlich genutzte Modell (z. B. mimo-v2.5-pro) und nicht auto.
• Die Antwort-Header liefern die vollständige Entscheidungsinformation:

HTTP-Antwort-Header sind unabhängig von Groß-/Kleinschreibung: Die Tabelle oben verwendet konventionell die Großschreibung der Anfangsbuchstaben, die tatsächliche HTTP/2-Antwort liefert kleingeschrieben x-aihubmix-router-*; beides ist gleichwertig.

curl -i https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [
      { "role": "user", "content": "What is the meaning of life?" }
    ]
  }' | grep -i "^x-aihubmix-router"

# Den oben erstellten client wiederverwenden; nur with_raw_response liefert die Antwort-Header
raw = client.chat.completions.with_raw_response.create(
    model="auto",
    messages=[
        {"role": "user", "content": "What is the meaning of life?"},
    ],
)

print("Genutztes Modell:", raw.headers.get("x-aihubmix-router-resolved-model"))
print("Strategie:", raw.headers.get("x-aihubmix-router-policy"))
print("Dimension:", raw.headers.get("x-aihubmix-router-dimension"))

completion = raw.parse()  # in ein normales completion-Objekt parsen
print("body.model:", completion.model)

// Den oben erstellten client wiederverwenden; nur .withResponse() liefert die rohen Antwort-Header
const { data: completion, response } = await client.chat.completions
  .create({
    model: "auto",
    messages: [
      { role: "user", content: "What is the meaning of life?" },
    ],
  })
  .withResponse();

console.log("Genutztes Modell:", response.headers.get("x-aihubmix-router-resolved-model"));
console.log("Strategie:", response.headers.get("x-aihubmix-router-policy"));
console.log("Dimension:", response.headers.get("x-aihubmix-router-dimension"));
console.log("body.model:", completion.model);

x-aihubmix-router-decision-id: 05dbad09-33c5-42de-85b5-559fdb73eb4c
x-aihubmix-router-dimension: text.overall
x-aihubmix-router-policy: cost_optimized
x-aihubmix-router-reason: policy=cost_optimized dim=text.overall top=0.182 survivors=20/33
x-aihubmix-router-resolved-model: xiaomi-mimo-v2.5-pro

​

Routing-Strategien

# Qualität zuerst + Code-Aufgabe
curl -i https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto:quality_first",
    "messages": [
      { "role": "user", "content": "Write a Python function to reverse a linked list." }
    ]
  }' | grep -i "^x-aihubmix-router"

raw = client.chat.completions.with_raw_response.create(
    model="auto:quality_first",  # Qualität zuerst
    messages=[
        {"role": "user", "content": "Write a Python function to reverse a linked list."},
    ],
)

print(raw.headers.get("x-aihubmix-router-resolved-model"))
print(raw.headers.get("x-aihubmix-router-dimension"))

const { response } = await client.chat.completions
  .create({
    model: "auto:quality_first", // Qualität zuerst
    messages: [
      { role: "user", content: "Write a Python function to reverse a linked list." },
    ],
  })
  .withResponse();

console.log(response.headers.get("x-aihubmix-router-resolved-model"));
console.log(response.headers.get("x-aihubmix-router-dimension"));

latency_critical hat die Nicht--think-Variante gewählt – Thinking-Varianten haben eine höhere Reasoning-Latenz, und die Strategie für niedrige Latenz meidet sie gezielt. Man sieht: Die Strategiegewichtung wirkt real auf die Abwägung zwischen “Fähigkeit / Kosten / Latenz” und schaut nicht nur auf die Fähigkeit.

Auch der Inhalt verändert das Ergebnis: Wendet man dasselbe auto:quality_first auf eine Code-Aufgabe an (die Anfrage im Beispiel oben), wechselt die Dimension von text.overall zu text.coding, und in der Messung wird claude-opus-4-6-think genutzt – Strategie und Anfrageninhalt bestimmen gemeinsam das endgültige Modell.

​

Funktionsweise

Beachten Sie, dass claude-fable-5 den höchsten Fähigkeitsscore hat (1510), aber wegen höherer Kosten und größerer Latenz im Gesamtscore auf den dritten Platz gedrückt wird. Genau das ist der Sinn der gewichteten Bewertung: nicht “Fähigkeit über alles”, sondern eine strategiebasierte Abwägung zwischen Fähigkeit / Kosten / Latenz.

• Text: text.coding = Code schreiben / debuggen, text.math = Mathe lösen, text.longer_query = Langtext, text.language.chinese = Chinesisch, text.occupational.legal / text.occupational.medicine = juristische / medizinische Berufsszenarien.
• Vision: vision.ocr = Text in Bildern erkennen, vision.diagram = Diagramme / Flussdiagramme verstehen, vision.overall = allgemeines Bildverständnis.

​

Score-Rangliste und Modell-Pool

​

Zuverlässigkeit und Fehlertoleranz

​

Abrechnung

​

Einschränkungen

• Das intelligente Routing richtet sich derzeit an die Chat-Completions-Schnittstelle /v1/chat/completions sowie die Schnittstellen zur Bildgenerierung / -bearbeitung /v1/images/* (Details siehe FAQ: Welche Schnittstellen werden unterstützt).
• ?router=off oder der Request-Header X-Router-Off lässt model=auto direkt ein 400 zurückgeben – dies ist eine ausdrückliche Ablehnung der mehrdeutigen Nutzung “auto haben wollen und gleichzeitig das Routing abschalten”, statt sie stillschweigend zu ignorieren:
  curl -i "https://aihubmix.com/v1/chat/completions?router=off" \
    -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
    -H "Content-Type: application/json" \
    -d '{"model":"auto","messages":[{"role":"user","content":"hi"}]}'
  # → HTTP/1.1 400 Bad Request
  # {"error":{"message":"auto requires router enabled; remove ?router=off / X-Router-Off", ...}}
  
• Die Kandidatenmenge ändert sich dynamisch mit dem Plattform-Catalog: Dasselbe auto kann zu unterschiedlichen Zeitpunkten unterschiedliche Modelle nutzen (das ist beabsichtigt und über die Antwort-Header nachvollziehbar). Der aktuelle Kandidatenumfang lässt sich über den Endpunkt Modellumfang der LLM-Router-Strategie abfragen.

​

Unterschiede zu OpenRouter / LiteLLM

​

Häufige Fragen (FAQ)

​

Verwandte Ressourcen

• Modell-Mapping und Fallback: fester Alias auf Key-Ebene + Fallback bei Fehlern, ergänzend zum intelligenten Routing.
• Einheitliche Inferenzparameter: über Modelle hinweg konsistente Request-Parameter.
• AIHubMix Modellseite: Modellnamen, Preise und Input Modalities nachschlagen.
• Modellumfang der LLM-Router-Strategie: login-freier Zugriff auf die öffentliche Teilmenge von 23 Unterdimensionen (der 30+ Routing-Dimensionen) und den routbaren Modell-Pool.