Auto Router (intelligentes Modell-Routing)

Ein model=auto – überlassen Sie die Frage “welches Modell” dem Gateway.

​

Anwendungsfälle

• Allgemeine Anwendungen: Wenn Sie nicht wissen, welche Art von Anfragen Ihre Nutzer senden werden, überlassen Sie auto die inhaltsbasierte Verteilung.
• Kostenoptimierung: Lassen Sie einfache Aufgaben automatisch auf günstigere, schnellere Modelle fallen (auto ist standardmäßig kostenoptimiert).
• Qualitätsoptimierung: Stellen Sie sicher, dass komplexe Anfragen an leistungsfähigere Modelle geleitet werden (auto:quality_first).
• Szenarien mit niedriger Latenz: Echtzeit-Sprache und mehrstufige Agent-Schleifen bevorzugen das schnellste Modell (auto:latency_critical).
• Einheitlicher Einstieg, keine Modellauswahl: Unterschiedliche Anfragetypen werden automatisch an das jeweils optimale Modell verteilt – Sie müssen weder eine “Aufgabe → Modell”-Zuordnungstabelle pflegen noch Modell-Iterationen verfolgen, Preise vergleichen oder Namen manuell wechseln.

​

Schnellstart

curl https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [
      { "role": "user", "content": "What is the meaning of life?" }
    ]
  }'

​

So bestätigen Sie das tatsächlich genutzte Modell

• Das Feld model im Antwort-Body enthält das tatsächlich genutzte Modell (z. B. mimo-v2.5-pro) und nicht auto.
• Die Antwort-Header liefern die vollständige Entscheidungsinformation:

HTTP-Antwort-Header sind unabhängig von Groß-/Kleinschreibung: Die Tabelle oben verwendet konventionell die Großschreibung der Anfangsbuchstaben, die tatsächliche HTTP/2-Antwort liefert kleingeschrieben x-aihubmix-router-*; beides ist gleichwertig.

curl -i https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [
      { "role": "user", "content": "What is the meaning of life?" }
    ]
  }' | grep -i "^x-aihubmix-router"

x-aihubmix-router-decision-id: 05dbad09-33c5-42de-85b5-559fdb73eb4c
x-aihubmix-router-dimension: text.overall
x-aihubmix-router-policy: cost_optimized
x-aihubmix-router-reason: policy=cost_optimized dim=text.overall top=0.182 survivors=20/33
x-aihubmix-router-resolved-model: xiaomi-mimo-v2.5-pro

​

Routing-Strategien

# Qualität zuerst + Code-Aufgabe
curl -i https://aihubmix.com/v1/chat/completions \
  -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto:quality_first",
    "messages": [
      { "role": "user", "content": "Write a Python function to reverse a linked list." }
    ]
  }' | grep -i "^x-aihubmix-router"

latency_critical hat die Nicht--think-Variante gewählt – Thinking-Varianten haben eine höhere Reasoning-Latenz, und die Strategie für niedrige Latenz meidet sie gezielt. Man sieht: Die Strategiegewichtung wirkt real auf die Abwägung zwischen “Fähigkeit / Kosten / Latenz” und schaut nicht nur auf die Fähigkeit.

Auch der Inhalt verändert das Ergebnis: Wendet man dasselbe auto:quality_first auf eine Code-Aufgabe an (die Anfrage im Beispiel oben), wechselt die Dimension von text.overall zu text.coding, und in der Messung wird claude-opus-4-6-think genutzt – Strategie und Anfrageninhalt bestimmen gemeinsam das endgültige Modell.

​

Funktionsweise

Beachten Sie, dass claude-fable-5 den höchsten Fähigkeitsscore hat (1510), aber wegen höherer Kosten und größerer Latenz im Gesamtscore auf den dritten Platz gedrückt wird. Genau das ist der Sinn der gewichteten Bewertung: nicht “Fähigkeit über alles”, sondern eine strategiebasierte Abwägung zwischen Fähigkeit / Kosten / Latenz.

​

Zuverlässigkeit und Fehlertoleranz

​

Abrechnung

​

Einschränkungen

• Das intelligente Routing richtet sich derzeit an die Chat-Completions-Schnittstelle /v1/chat/completions (Details siehe FAQ: Welche Schnittstellen werden unterstützt).
• ?router=off oder der Request-Header X-Router-Off lässt model=auto direkt ein 400 zurückgeben – dies ist eine ausdrückliche Ablehnung der mehrdeutigen Nutzung “auto haben wollen und gleichzeitig das Routing abschalten”, statt sie stillschweigend zu ignorieren:
  curl -i "https://aihubmix.com/v1/chat/completions?router=off" \
    -H "Authorization: Bearer <AIHUBMIX_API_KEY>" \
    -H "Content-Type: application/json" \
    -d '{"model":"auto","messages":[{"role":"user","content":"hi"}]}'
  # → HTTP/1.1 400 Bad Request
  # {"error":{"message":"auto requires router enabled; remove ?router=off / X-Router-Off", ...}}
  
• Die Kandidatenmenge ändert sich dynamisch mit dem Plattform-Catalog: Dasselbe auto kann zu unterschiedlichen Zeitpunkten unterschiedliche Modelle nutzen (das ist beabsichtigt und über die Antwort-Header nachvollziehbar).

​

Unterschiede zu OpenRouter / LiteLLM

​

Häufige Fragen (FAQ)

​

Verwandte Ressourcen

• Modell-Mapping und Fallback: fester Alias auf Key-Ebene + Fallback bei Fehlern, ergänzend zum intelligenten Routing.
• Einheitliche Inferenzparameter: über Modelle hinweg konsistente Request-Parameter.
• AIHubMix Modellseite: Modellnamen, Preise und Input Modalities nachschlagen.