> ## Documentation Index
> Fetch the complete documentation index at: https://docs.aihubmix.com/llms.txt
> Use this file to discover all available pages before exploring further.
# GPT Prompt Caching
> GPT Prompt Caching für gpt-5.6-sol / gpt-5.6-terra / gpt-5.6-luna: Cache-Writes 1,25x Inputpreis, Reads 0,1x, prompt_cache_key, explizite Breakpoints.
Prompt Caching greift bei GPT-Modellen (ab gpt-4o) automatisch: Erreicht das Anfrage-Präfix 1.024 Token und stimmt es Zeichen für Zeichen mit einer kürzlichen Anfrage überein, wird der getroffene Teil zum Cache-Lesepreis abgerechnet und die Latenz bis zum ersten Token sinkt. Die GPT-5.6-Serie (`gpt-5.6-sol` / `gpt-5.6-terra` / `gpt-5.6-luna`) erweitert den Cache-Mechanismus: Cache-Writes werden separat abgerechnet (1,25-facher Inputpreis), Cache-Reads kosten das 0,1-Fache des Inputpreises, der Cache bleibt mindestens 30 Minuten erhalten, und mit `prompt_cache_key` für zuverlässigeres Cache-Matching sowie expliziten Cache-Breakpoints kommen neue Parameter hinzu.
Das Cache-Verhalten beider Modellgenerationen im Überblick:
| | Vor GPT-5.6 | GPT-5.6 und neuer |
| :--------------------------------- | :---------------------------------------------------------- | :------------------------------------------------------------------------ |
| Caching-Verfahren | Automatisch | Automatisch + explizite Breakpoints |
| Mindest-Cache-Länge | 1.024 Token | 1.024 Token |
| Abrechnung Cache-Writes | Keine separate Abrechnung | 1,25x Basis-Inputpreis |
| Abrechnung Cache-Reads | Zum Cache-Lesepreis des jeweiligen Modells | 0,1x Basis-Inputpreis |
| Cache-Aufbewahrung | Löschung nach 5–10 Minuten Inaktivität, maximal 1 Stunde | Mindestens 30 Minuten |
| `prompt_cache_key` | Optional, zur Erhöhung der Hit-Rate | Laut OpenAI erforderlich, um zuverlässigeres Cache-Matching zu aktivieren |
| Erweiterte 24-Stunden-Aufbewahrung | Von einigen Modellen unterstützt (`prompt_cache_retention`) | Ersetzt durch `prompt_cache_options.ttl`, derzeit nur `"30m"` |
## Schnellstart
Prompt Caching erfordert keine zusätzliche Konfiguration: Senden Sie zweimal hintereinander eine Anfrage mit demselben langen Präfix; ist in der zweiten Antwort `usage.prompt_tokens_details.cached_tokens` größer als 0, liegt ein Cache-Hit vor. Für die GPT-5.6-Serie empfiehlt sich zusätzlich das Setzen von `prompt_cache_key`:
```shell Curl theme={null}
curl https://aihubmix.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $AIHUBMIX_API_KEY" \
-d '{
"model": "gpt-5.6-sol",
"prompt_cache_key": "my-app-report-assistant-v1",
"messages": [
{
"role": "system",
"content": "You are a meticulous assistant for analyzing quarterly financial reports... [Hier feste lange Anweisungen oder Referenzmaterial platzieren, ≥1024 Token]"
},
{
"role": "user",
"content": "Summarize the key figures in one sentence."
}
]
}'
```
```py Python (OpenAI SDK) theme={null}
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["AIHUBMIX_API_KEY"], # Key wird aus der Umgebungsvariable gelesen
base_url="https://aihubmix.com/v1",
)
long_context = "You are a meticulous assistant for analyzing quarterly financial reports... [Feste lange Anweisungen oder Referenzmaterial, ≥1024 Token]"
# Dieselbe Anfrage mit identischem Präfix zweimal senden, die zweite trifft den Cache
for i in range(2):
completion = client.chat.completions.create(
model="gpt-5.6-sol",
prompt_cache_key="my-app-report-assistant-v1",
messages=[
{"role": "system", "content": long_context},
{"role": "user", "content": "Summarize the key figures in one sentence."},
],
)
print(completion.usage.prompt_tokens_details)
```
Gemessene usage-Werte der beiden Aufrufe (2026-07-10, `gpt-5.6-sol`):
```json theme={null}
// 1. Aufruf: kein Hit
"prompt_tokens_details": {"audio_tokens": 0, "cached_tokens": 0}
// 2. Aufruf: Präfix trifft den Cache
"prompt_tokens_details": {"audio_tokens": 0, "cached_tokens": 2816}
```
## Cache-Abrechnung
Abrechnungsregeln für die GPT-5.6-Serie:
| Abrechnungsposten | Satz |
| :------------------- | :--------------------- |
| Reguläre Input-Token | Plattform-Preis |
| Cache-Write-Token | 1,25x Basis-Inputpreis |
| Cache-Read-Token | 0,1x Basis-Inputpreis |
| Output-Token | Plattform-Preis |
Die offizielle Formulierung von OpenAI zu dieser Regel (aus der [GPT-5.6-Release-Ankündigung](https://openai.com/index/gpt-5-6/)): "For GPT‑5.6 and later models, cache writes are billed at 1.25x the model's uncached input rate, while cache reads continue to receive the 90% cached-input discount." Der [offizielle Prompt-Caching-Leitfaden](https://developers.openai.com/api/docs/guides/prompt-caching) beschreibt den Geltungsbereich dieser Faktoren als "GPT-5.6 models and later model families". Die offiziellen Listenpreise der Modelle finden Sie unter [OpenAI Pricing](https://developers.openai.com/api/docs/pricing); für die tatsächlichen Preise auf AIHubMix ist der [Modell-Marktplatz](https://aihubmix.com/models) maßgeblich.
Aus den offiziellen Faktoren lässt sich die Bilanz direkt berechnen: Das Schreiben eines Präfixes kostet gegenüber dem Verzicht auf Caching das 0,25-Fache des Inputpreises zusätzlich; jeder anschließende Hit spart das 0,9-Fache des Inputpreises. Sobald ein Präfix ein einziges Mal wiederverwendet wird, ergibt sich eine Nettoersparnis; je häufiger die Wiederverwendung, desto größer die Ersparnis. Einmalige Anfragen, deren Präfix nie wiederverwendet wird, zahlen die Write-Gebühr ohne Gegenwert; das Caching lässt sich in diesem Fall mit dem explicit-Modus abschalten (siehe unten „GPT-5.6-Cache-Parameter").
Bei Modellen vor GPT-5.6 werden Cache-Writes nicht separat abgerechnet; Cache-Reads kosten den Cache-Lesepreis des jeweiligen Modells. Die Preise der einzelnen Modelle finden Sie im [Modell-Marktplatz](https://aihubmix.com/models).
Die GPT-5.6-Serie unterscheidet Preisstufen für kurzen und langen Kontext: Überschreitet der Input einer einzelnen Anfrage 272K Token, wird die gesamte Anfrage zur Long-Context-Stufe abgerechnet (Input 2x, Output 1,5x). Die Faktoren 1,25x für Cache-Writes und 0,1x für Cache-Reads gelten auch in der Long-Context-Stufe; Basis ist dann der Long-Context-Inputpreis.
## So greift der Cache automatisch
Beim Senden einer Anfrage prüft das System, ob das Anfrage-Präfix (in der serialisierten Reihenfolge von messages, tools usw.) Zeichen für Zeichen mit dem Präfix einer kürzlichen Anfrage übereinstimmt:
1. Erreicht das Präfix 1.024 Token und wird ein übereinstimmendes Cache-Präfix gefunden, wird der getroffene Teil zum Cache-Lesepreis abgerechnet und die Latenz bis zum ersten Token sinkt;
2. Wird keines gefunden, wird die Anfrage als regulärer Input verarbeitet und das Präfix in den Cache geschrieben (ab GPT-5.6 mit 1,25x Write-Gebühr);
3. Ein Hit setzt voraus, dass das Präfix Byte für Byte identisch ist; jede Änderung im Präfix invalidiert den gesamten Cache ab dieser Position.
In folgenden Szenarien ist der Nutzen am größten:
* Feste lange System-Anweisungen oder umfangreiche Few-Shot-Beispiele
* Wiederholt referenziertes langes Referenzmaterial in RAG-Szenarien
* Agent-Workflows mit umfangreichen Tool-Definitionen (tools)
* Lange Multi-Turn-Konversationen, die Nachrichten nur hinten anfügen
Cache-Aufbewahrung: Bei Modellen vor GPT-5.6 wird der Cache nach 5–10 Minuten Inaktivität gelöscht, maximal nach 1 Stunde; ab GPT-5.6 bleibt er mindestens 30 Minuten erhalten, tatsächlich möglicherweise länger. Caches werden nicht über Organisationen hinweg geteilt, und Caching hat keinen Einfluss auf den Output.
## GPT-5.6-Cache-Parameter
Die GPT-5.6-Serie führt drei neue cache-bezogene Parameter ein (gemeinsam für Chat Completions und Responses API):
| Parameter | Typ / Position | Werte | Standard |
| :------------------------ | :-------------------------------------- | :----------------------------------------------------------------------------------------------------------------------------------------------- | :------------------------------- |
| `prompt_cache_key` | string, oberste Ebene des Request-Bodys | Eigener stabiler Bezeichner, empfohlen nach Anwendung oder Mandant getrennt; der Gesamtverkehr pro Key sollte bei etwa 15 Anfragen/Minute liegen | Keiner |
| `prompt_cache_options` | object, oberste Ebene des Request-Bodys | `mode`: `"implicit"` / `"explicit"`; `ttl`: nur `"30m"` | `mode: "implicit"`, `ttl: "30m"` |
| `prompt_cache_breakpoint` | object, innerhalb eines Content-Blocks | `{"mode": "explicit"}`, markiert das Ende des Cache-Präfixes | Kein Breakpoint |
Modelle vor GPT-5.6 unterstützen `prompt_cache_options` und `prompt_cache_breakpoint` nicht; solche Anfragen werden abgelehnt. Der Parameter `prompt_cache_retention` (`"24h"` / `"in_memory"`) für die erweiterte 24-Stunden-Aufbewahrung älterer Modelle wird ab GPT-5.6 durch `prompt_cache_options.ttl` ersetzt.
Das Zusammenspiel der drei Steuerungsvarianten:
1. **Standard (implicit-Modus)**: Auch ohne Cache-Parameter wird automatisch in den Cache geschrieben – das System setzt den Breakpoint automatisch an die Position der neuesten Nachricht. Ab GPT-5.6 werden auch automatisch ausgelöste Cache-Writes mit 1,25x abgerechnet.
2. **implicit-Modus + explizite Breakpoints**: Zusätzlich zum automatischen Breakpoint kann `prompt_cache_breakpoint` auf Content-Blöcken gesetzt werden, um die Cache-Grenze am Ende des stabilen Inhalts zu fixieren; Änderungen am Inhalt hinter dem Breakpoint invalidieren den Präfix-Cache vor dem Breakpoint nicht.
3. **explicit-Modus**: Ist `prompt_cache_options.mode` auf `"explicit"` gesetzt, werden nur manuelle Breakpoints verwendet; ganz ohne Breakpoints nutzt die Anfrage keinen Cache und erzeugt keine Cache-Write-Gebühr. [Offizieller Wortlaut](https://developers.openai.com/api/docs/guides/prompt-caching): "If the conversation contains no explicit breakpoints, the request does not use prompt caching or incur cache-write charges."
Cache-Write-Gebühr für einmalige lange Anfragen mit dem explicit-Modus abschalten:
```json theme={null}
{
"model": "gpt-5.6-sol",
"prompt_cache_options": {"mode": "explicit"},
"messages": [
{"role": "user", "content": "[Einmaliger langer Inhalt ohne Wiederverwendung]"}
]
}
```
Offizielle Standardverwendung expliziter Breakpoints (Breakpoint am Ende des festen langen Content-Blocks):
```json theme={null}
{
"model": "gpt-5.6-sol",
"prompt_cache_key": "my-app-report-assistant-v1",
"messages": [
{
"role": "system",
"content": [
{
"type": "text",
"text": "[Feste lange Anweisungen oder Referenzmaterial, ≥1024 Token]",
"prompt_cache_breakpoint": {"mode": "explicit"}
}
]
},
{"role": "user", "content": "Summarize the key figures in one sentence."}
]
}
```
Harte Grenzen (offizielle Angaben):
* Pro Anfrage werden maximal 4 neue Cache-Writes erstellt; im implicit-Modus belegt der automatische Breakpoint einen davon;
* Das Präfix vor einem Breakpoint muss weiterhin 1.024 Token erreichen, um gecached zu werden;
* Beim Lesen wird unter den letzten 50 Breakpoints das längste passende Präfix verwendet;
* Ein Breakpoint auf einem nicht unterstützten Content-Block liefert `400 invalid_request_error`. Chat Completions unterstützt die Blöcke `text` / `image_url` / `input_audio` / `file` / `refusal`, die Responses API die Blöcke `input_text` / `input_image` / `input_file`.
Die Unterstützung von `prompt_cache_breakpoint` auf Content-Block-Ebene sowie von Cache-Hits über die Responses API wird auf AIHubMix derzeit vervollständigt. Aktuell wird empfohlen, automatisches Caching über Chat Completions mit gesetztem `prompt_cache_key` zu verwenden (Schnellstart-Beispiel dieser Seite, Hits verifiziert); der explicit-Modus von `prompt_cache_options` funktioniert zum Abschalten von Cache-Writes. Diese Seite wird mit dem Fortschritt der Unterstützung aktualisiert.
## Warum der Cache nicht getroffen wird
Ein Hit setzt voraus, dass der gesamte Inhalt vor der Breakpoint-Position Byte für Byte identisch ist. Bleibt `cached_tokens` beim zweiten Aufruf 0, gehen Sie folgende Checkliste durch:
* **Präfix unter 1.024 Token**: Anfragen unterhalb der Mindest-Cache-Länge werden als regulärer Input verarbeitet;
* **Veränderlicher Inhalt im Präfix**: Zeitstempel, Session-IDs, Benutzervariablen usw. gehören hinter den festen Inhalt; jede Änderung im Präfix invalidiert den nachfolgenden Cache;
* **Geänderte tools-Definitionen oder -Reihenfolge**: Die Tool-Liste geht in die Präfix-Berechnung ein; Definitionen und Reihenfolge müssen exakt übereinstimmen;
* **Inkonsistenter detail-Parameter bei Bildern**: `detail` beeinflusst die Tokenisierung von Bildern und muss gleich bleiben;
* **Geändertes Schema für strukturierte Ausgaben**: Das JSON-Schema aus `response_format` geht als Präfix der System-Nachricht in den Cache ein; eine Schema-Änderung ist eine Präfix-Änderung;
* **Geändertes `reasoning_effort`**: offiziell als häufige Ursache für eine niedrigere Cache-Trefferrate aufgeführt ("Changes to reasoning effort");
* **Cache-Aufbewahrung überschritten**: Vor GPT-5.6 Löschung nach 5–10 Minuten Inaktivität, ab GPT-5.6 mindestens 30 Minuten Aufbewahrung;
* **`prompt_cache_key` nicht gesetzt (GPT-5.6)**: Ohne den Parameter sind automatische Hits weiterhin möglich, aber ohne das zuverlässigere Matching.
## Best Practices
* Festen Inhalt (System-Anweisungen, Beispiele, Referenzmaterial, Tool-Definitionen) an den Anfang der Anfrage setzen, den sich pro Runde ändernden Inhalt ans Ende;
* Für Traffic mit demselben Präfix denselben stabilen `prompt_cache_key` verwenden; den Gesamtverkehr pro Key bei etwa 15 Anfragen/Minute halten und bei Überschreitung nach Anwendungsbereich auf weitere Keys aufteilen;
* In Multi-Turn-Konversationen Nachrichten nur hinten anfügen und Verlaufsnachrichten nicht ändern;
* Für Anfragen mit demselben Präfix kontinuierlichen Traffic aufrechterhalten, um Cache-Löschungen zu reduzieren;
* Bei einmaligen langen Anfragen ohne Präfix-Wiederverwendung die Cache-Write-Gebühr mit dem explicit-Modus vermeiden (ab GPT-5.6);
* Die Hit-Rate laufend über `usage.prompt_tokens_details.cached_tokens` überwachen.
## Häufig gestellte Fragen (FAQ)
### Muss Prompt Caching bei GPT manuell aktiviert werden?
Eine manuelle Aktivierung ist nicht erforderlich: Erreicht das Präfix 1.024 Token, wird automatisch gecached. Ab GPT-5.6 empfiehlt sich zusätzlich das Setzen von `prompt_cache_key` für zuverlässigeres Cache-Matching.
### Wie wird die Cache-Write-Gebühr bei GPT-5.6 berechnet? Wie vermeide ich unnötige Write-Gebühren?
Cache-Writes werden mit dem 1,25-Fachen des Basis-Inputpreises abgerechnet, Reads mit dem 0,1-Fachen; eine einzige Wiederverwendung des Präfixes ergibt bereits eine Nettoersparnis. Bei einmaligen langen Anfragen ohne Präfix-Wiederverwendung setzen Sie `prompt_cache_options.mode` auf `"explicit"` und lassen Breakpoints weg; die Anfrage nutzt dann keinen Cache und erzeugt keine Write-Gebühr.
### Wie lange bleibt der Cache erhalten?
Ab GPT-5.6 mindestens 30 Minuten (`ttl` unterstützt derzeit nur `"30m"`, tatsächlich möglicherweise länger); Modelle vor GPT-5.6 löschen nach 5–10 Minuten Inaktivität, maximal nach 1 Stunde, einige ältere Modelle unterstützen die erweiterte Aufbewahrung mit `prompt_cache_retention: "24h"`.
### Was unterscheidet die expliziten Breakpoints von GPT-5.6 von Claudes cache\_control?
Beide fixieren die Cache-Grenze am Ende des stabilen Inhalts. Wesentliche Unterschiede: GPT-5.6 cached automatisch ohne jeden Parameter, Breakpoints sind eine optionale Feinsteuerung; bei Claude muss Caching in der Anfrage aktiviert werden (`cache_control` auf oberster Ebene für automatische Breakpoints oder explizite Breakpoints auf Content-Block-Ebene). GPT-5.6 bewahrt den Cache mindestens 30 Minuten auf, Claude standardmäßig 5 Minuten mit optionaler 1 Stunde; Cache-Reads kosten bei beiden das 0,1-Fache des Inputpreises. Die Verwendung bei Claude beschreibt [Claude Prompt Caching](/de/api/Claude-Cache).
### Beeinflusst Caching den Output?
Nein. Offizielle Angabe: Prompt Caching betrifft nur Verarbeitung und Abrechnung auf der Input-Seite; das Modell generiert den Output genauso wie ohne Caching.
## Offizielle Referenzen
Mechanismen, Faktoren und Parameterangaben dieser Seite stammen aus folgenden offiziellen OpenAI-Quellen:
* [GPT-5.6-Release-Ankündigung](https://openai.com/index/gpt-5-6/): Abrechnungsregel 1,25x für Cache-Writes / 90 % Rabatt für Reads
* [Prompt-Caching-Leitfaden](https://developers.openai.com/api/docs/guides/prompt-caching): Mechanismus, Parameter, usage-Felder und Grenzen
* [OpenAI Pricing](https://developers.openai.com/api/docs/pricing): Offizielle Listenpreise der Modelle
* [GPT-5.6-Modelldokumentation](https://platform.openai.com/docs/models/gpt-5.6-sol): Kontextfenster, Abrechnungsschwelle für langen Kontext
Für die tatsächlichen Preise der Modelle auf AIHubMix ist der [Modell-Marktplatz](https://aihubmix.com/models) maßgeblich.
***
Zuletzt aktualisiert: 2026-07-10