Prompt-Caching kann die Kosten und Latenz wiederholter LLM-Anfragen senken, aber nur, wenn der Workflow stabile Präfixe, genügend Wiederverwendung und ein akzeptables Cache-Hit-Verhalten erzeugt. Das Feature einfach zu aktivieren ist nicht dasselbe wie einen Return on Investment nachzuweisen.
Dieser Leitfaden bietet Engineering- und FinOps-Teams einen praxisnahen Prompt-Caching-Workflow: geeigneten Traffic identifizieren, Prompts auf Wiederverwendung ausrichten, Cache-Metriken instrumentieren, Nettoeinsparungen berechnen und ausrollen, ohne Qualitäts- oder Zuverlässigkeitsregressionen zu überdecken.
Was ist Prompt-Caching?
Prompt-Caching ermöglicht es einem LLM-Anbieter, Berechnungen für Prompt-Inhalte wiederzuverwenden, die er kürzlich verarbeitet hat. Statt jeden wiederholten Input-Token zum normalen Satz abzurechnen und zu verarbeiten, kann der Anbieter für den wiederverwendbaren Teil einen niedrigeren Cached-Input-Satz oder einen separaten Cache-Lese-Preis anwenden.
Der wiederverwendbare Inhalt ist in der Regel ein stabiler Prompt-Präfix. Typische Beispiele sind:
- Ein langer System-Prompt und ein Policy-Block.
- Tool-Definitionen, die von jedem Agent-Dialogschritt gemeinsam genutzt werden.
- Ein großes Dokument, eine Repository-Karte oder ein Produktkatalog, der wiederholt abgefragt wird.
- Few-Shot-Beispiele, die über einen Klassifizierungs- oder Extraktions-Job hinweg wiederverwendet werden.
- Ein Gesprächsverlauf, der von mehreren möglichen nächsten Aktionen gemeinsam genutzt wird.
Die Implementierungen der Anbieter unterscheiden sich. OpenAI dokumentiert automatisches Caching für qualifizierende Prompt-Präfixe und stellt Details zu gecachten Tokens in der API-Nutzung bereit. Anthropic unterstützt explizite Cache-Breakpoints und mehrere Time-to-Live-Optionen. Google Gemini unterstützt explizite Kontext-Caches mit Speichergebühren, während DeepSeek automatisches diskbasiertes Context-Caching mit separaten Cache-Hit- und Cache-Miss-Input-Raten dokumentiert. Prüfen Sie vor der Einplanung von Einsparungen in einer Prognose immer die aktuelle Modellunterstützung und Preisgestaltung in der offiziellen Dokumentation des Anbieters.
Der ROI-Fehler: den Rabatt statt des Workflows messen
Ein Rabatt auf gecachte Tokens ist nicht dasselbe wie Nettoeinsparungen. Der Workflow kann außerdem Cache-Write-Gebühren, Speichergebühren, zusätzliche Requests, operative Komplexität oder Qualitätsregressionen verursachen, wenn Teams die Prompt-Struktur zu aggressiv optimieren.
Messen Sie die Einheit, die zählt:
Netto-Prompt-Caching-ROI = vermiedene Kosten für uncached Input - Kosten für Cache-Write/Speicher - Implementierungs- und Betriebskosten
Für Produktionsentscheidungen sollten Sie dieses Ergebnis mit einem akzeptierten Outcome verknüpfen:
Kosten pro akzeptierter Aufgabe = Gesamtkosten pro Anfrage / validierte erfolgreiche Aufgaben
So vermeiden Sie ein irreführendes Ergebnis, bei dem die Token-Ausgaben sinken, aber Retries, abgelehnte Ausgaben oder menschliche Prüfungen zunehmen. Außerdem wird Prompt-Caching so in ein breiteres Programm zur AI-API-Kostenoptimierung eingebettet, statt Caching als isolierten Abrechnungstrick zu behandeln.
Ein sechs Schritte umfassender Prompt-Caching-Workflow
1. Workloads mit echter Präfix-Wiederverwendung finden
Beginnen Sie mit Request-Traces, nicht mit Intuition. Gruppieren Sie den Traffic nach Workflow und schätzen Sie, wie viele Input-Tokens vom Beginn einer Anfrage zur nächsten identisch bleiben.
Gute Kandidaten haben in der Regel vier Eigenschaften:
- Großer wiederholter Input: Das wiederverwendbare Präfix ist im Verhältnis zum dynamischen Suffix substanziell.
- Häufige Wiederverwendung: Mehrere Anfragen verweisen innerhalb der effektiven Cache-Lebensdauer des Anbieters auf dasselbe Präfix.
- Stabile Reihenfolge: Systemanweisungen, Tools, Beispiele und Referenzmaterial erscheinen in derselben Reihenfolge.
- Niedrige Kardinalität: Die Anwendung verwendet eine überschaubare Anzahl von Prompt-Varianten wieder, statt für jeden Nutzer ein einzigartiges Präfix zu erstellen.
Typische Workflows mit hohem Potenzial sind Coding Agents mit stabilen Tool-Schemas, Support-Assistenten, die auf einem gemeinsamen Wissenspaket basieren, Dokumenten-Q&A-Sitzungen, Batch-Extraktion mit wiederholten Beispielen und mehrstufige Research Agents.
Weniger geeignete Kandidaten sind einmalige kurze Prompts, stark personalisierte Präfixe, Anfragen, die bei jedem Aufruf Tool-Definitionen ändern, sowie Jobs mit geringem Volumen, die einen Cache-Eintrag selten wiederverwenden.
Erstellen Sie für jeden Workflow eine Baseline-Tabelle:
| Metrik | Warum sie wichtig ist |
|---|---|
| Anfragen pro Tag | Bestimmt das Wiederverwendungsvolumen |
| Durchschnittliche Input-Token | Legt die gesamten Input-Kosten fest |
| Wiederverwendbare Präfix-Token | Definiert die cachefähige Oberfläche |
| Präfix-Varianten | Zeigt Fragmentierung auf |
| Wiederverwendungsintervall | Prüft, ob Einträge weiterhin nützlich bleiben |
| Akzeptanzrate der Aufgaben | Schützt Qualität und Geschäftswert |
| P50/P95-Latenz | Misst die Auswirkungen auf die Performance |
2. Statische Inhalte vor dynamischen Inhalten platzieren
Prompt-Caching hängt normalerweise davon ab, dass der Prompt ab seinem Anfang übereinstimmt. Eine kleine Abweichung am Anfang kann die Wiederverwendung für alles, was folgt, verhindern.
Verwenden Sie diese Reihenfolge, sofern der Anbieter und das SDK es zulassen:
1. Stabile Systemanweisungen
2. Stabile Richtlinien- und Sicherheitsregeln
3. Stabile Tool-Definitionen
4. Stabiles Referenzmaterial oder Beispiele
5. Halb-stabiler Konversationskontext
6. Dynamische Nutzereingaben und Laufzeitwerte
Platzieren Sie keine Zeitstempel, Anfrage-IDs, nutzerspezifische Labels, zufällig geordnete JSON-Daten oder sich häufig ändernde Feature-Flags am Anfang des Prompts. Normalisieren Sie Tool-Schemas und serialisieren Sie strukturierte Inhalte deterministisch.
Dies ist keine Erlaubnis, nicht zusammenhängende Daten zu einem übergroßen Präfix zusammenzuführen. Behalten Sie Mandantengrenzen, Autorisierungsregeln und Anforderungen an die Datenaufbewahrung bei. Ein günstigerer Prompt ist kein Risiko für Datenschutz oder Isolation wert.
3. Cache-Identität und Invalidierungsrichtlinie definieren
Ihre Anwendung benötigt eine explizite Möglichkeit, über Prompt-Versionen nachzudenken, auch wenn der Anbieter den Cache automatisch verwaltet.
Eine praktische Cache-Identität kann Folgendes umfassen:
workflow + prompt_version + tool_schema_version + knowledge_version + model_family
Verfolgen Sie diese Identität in der Telemetrie. Wenn sich Anweisungen, Tool-Verträge oder Referenzdaten ändern, erhöhen Sie die relevante Version. Das macht Kostenänderungen nachvollziehbar und verhindert, dass Teams eine erwartete Invalidierung mit einem Anbieter-Ausfall verwechseln.
Definieren Sie ein Wiederverwendungsfenster basierend auf dem Workload-Verhalten und der Unterstützung durch den Anbieter. Ein kurzlebiger interaktiver Agent kann von einer Wiederverwendung über Minuten profitieren. Ein wiederkehrender Recherche-Workflow kann einen längeren expliziten Cache rechtfertigen, wenn die Speicherkosten unter den Kosten für wiederholte Eingabeverarbeitung bleiben.
4. Hits, Misses, Writes und akzeptierte Ergebnisse instrumentieren
Protokollieren Sie mindestens diese Felder für jeden Versuch:
- Anbieter, Modell und Workflow.
- Prompt-Version und Cache-იდენტität.
- Gesamte Eingabe-, zwischengespeicherte/gelesene, Cache-Write- und Ausgabe-Token, sofern verfügbar.
- Cache-Hit oder abgeleiteter Hit-Status.
- Geschätzte Eingabe-, Cache-, Ausgabe- und Gesamtkosten.
- Latenz, Status, Wiederholungsnummer und Fallback-Pfad.
- Validiertes Erfolgsergebnis oder akzeptiertes Aufgabenresultat.
Verwenden Sie die vom Anbieter gemeldeten Nutzungsfelder als verlässliche Grundlage für die Abrechnung, wenn sie verfügbar sind. Wenn ein Anbieter kein klares Cache-Hit-Flag zurückgibt, leiten Sie es sorgfältig aus gecachten Token-Zahlen oder Abrechnungsaufzeichnungen ab und kennzeichnen Sie die Kennzahl als abgeleitet.
Telemetry für Prompt Caching gehört in denselben Trace wie Retries und Model-Fallback. Andernfalls kann eine Retry-Sturmphase wie eine erfolgreiche Cache-Optimierung aussehen. Die AI observability implementation checklist zeigt, wie sich Kosten pro Versuch mit Anwendungsresultaten verbinden lassen.
5. Einsparungen und Break-even-Volumen berechnen
Verwenden Sie ein Modell, das der Abrechnungsstruktur des Anbieters entspricht.
Für automatisches Caching mit einem vergünstigten Lesetarif:
gross_savings = cache_read_tokens × (uncached_input_rate - cached_input_rate)
net_savings = gross_savings - incremental_operating_cost
Für explizites Caching mit Schreib- und Speicherkosten:
net_savings = avoided_uncached_cost
- cache_write_cost
- cache_storage_cost
- incremental_operating_cost
Sie können die Break-even-Anzahl der Wiederverwendungen für einen gecachten Präfix schätzen:
break_even_reuses =
(cache_write_cost + storage_cost + implementation_cost_per_entry)
/ savings_per_cache_read
Runden Sie auf die nächste ganze Wiederverwendung auf. Fügen Sie dann eine Marge für Misses, Invalidierungen und Traffic-Schwankungen hinzu.
ROI-Beispiel mit Rechenweg
Angenommen, ein Workflow hat:
- 40.000 Anfragen pro Monat.
- 18.000 Eingabetoken pro Anfrage.
- Einen stabilen Präfix von 12.000 Token.
- Eine effektive Cache-Hit-Rate von 70 %.
- Einen Rate für ungecachte Eingaben von 3 $ pro Million Token.
- Einen Rate für gecachte Eingaben von 0,30 $ pro Million Token.
- 350 $ pro Monat an amortisierten Kosten für Engineering und Monitoring.
Monatlich gecachte Token:
40,000 × 12,000 × 70% = 336,000,000 gecachte Eingabe-Token
Bruttoeinsparungen:
336 million × ($3.00 - $0.30) / 1 million = $907.20
Netto-Monatseinsparungen:
$907.20 - $350 = $557.20
Wenn der Workflow 32.000 akzeptierte Aufgaben erzeugt, trägt Caching etwa 0,017 $ Einsparung pro akzeptierter Aufgabe bei. Das kann im großen Maßstab bedeutsam sein, aber das Ergebnis ist deutlich bescheidener, als einfach einen Rabatt von 90 % auf gecachte Eingaben zu zitieren.
Die oben genannten Raten sind illustrativ und kein aktuelles Anbieterangebot. Ersetzen Sie sie durch Ihre vertraglich vereinbarten oder veröffentlichten Raten und berücksichtigen Sie gegebenenfalls Cache-Schreibvorgänge, Speicherung, regionale Preisgestaltung, Service-Tiers und Gateway-Gebühren.
6. Mit einem kontrollierten Experiment einführen
Führen Sie Caching als technische Änderung mit einer messbaren Kontrollgruppe ein.
- Wählen Sie einen Workflow mit hoher Wiederverwendung aus.
- Frieren Sie den Evaluierungsdatensatz und die Akzeptanzkriterien ein.
- Ermitteln Sie Basiswerte für Kosten, Latenz und Qualität ohne Cache.
- Strukturieren Sie nur das stabile Präfix um.
- Leiten Sie einen kleinen Anteil des Produktionsverkehrs über den gecachten Pfad.
- Vergleichen Sie Trefferquote, Kosten pro akzeptierter Aufgabe, P95-Latenz, Fehler und Fallbacks.
- Erweitern Sie erst dann, wenn die Einsparungen nach Betriebskosten weiterhin positiv sind.
Halten Sie Wiederholungs- und Fallback-Richtlinien von der Cache-Logik getrennt. Eine fehlgeschlagene Anfrage kann sicher wiederholt werden, nach teilweisem Streaming jedoch unsicher zu reproduzieren sein oder durch ein gleichwertiges Modell besser bedient werden. Verwenden Sie eine definierte Model-Fallback-Strategie, statt jeden Cache-Miss oder Timeout als denselben Fehler zu behandeln.
Prompt-Caching-KPI-Dashboard
Verfolgen Sie die folgenden Metriken nach Workflow und Prompt-Version:
| KPI | Formel oder Definition | Entscheidungssignal |
|---|---|---|
| Cache-fähiges Token-Verhältnis | Wiederverwendbare Präfix-Tokens / gesamte Input-Tokens | Ist die Optimierungsfläche groß genug? |
| Cache-Trefferquote | Cache-Leseanfragen / berechtigte Anfragen | Findet die Wiederverwendung tatsächlich statt? |
| Verhältnis gecachter Tokens | Gecachte Input-Tokens / gesamte Input-Tokens | Wie viel Input erhält den niedrigeren Satz? |
| Einsparung pro Anfrage | Basis-Kosten ohne Cache - beobachtete Kosten | Ist jede Anfrage günstiger? |
| Nettoeinsparungen | Bruttoeinsparungen - Schreibvorgänge, Speicherung und Betriebskosten | Ist das Projekt finanziell positiv? |
| Kosten pro akzeptierter Aufgabe | Gesamtkosten / akzeptierte Aufgaben | Hat sich die qualitätsbereinigte Wirtschaftlichkeit verbessert? |
| P95-Latenz-Differenz | Gecachtes P95 - Basis-P95 | Hat sich die für Nutzer sichtbare Leistung verbessert? |
| Fehlerursachenrate | Fehler nach Version, Reihenfolge, TTL oder Anbieter | Was sollte das Engineering als Nächstes beheben? |
Eine hohe Trefferquote bei geringen Einsparungen kann auftreten, wenn das wiederholte Präfix klein ist. Eine niedrige Trefferquote bei einem großen Präfix kann dennoch eine wertvolle Gelegenheit anzeigen, wenn sich die Fragmentierung des Prompts beheben lässt. Lesen Sie die Metriken gemeinsam.
Häufige Fehlermodi beim Prompt-Caching
Dynamische Werte am Anfang
Zeitstempel, IDs und benutzerbezogene Metadaten am Anfang fragmentieren den Cache. Verschieben Sie sie, wenn möglich, hinter das stabile Präfix.
Tool-Schemas ändern sich zwischen Anfragen
Agents bauen Tool-Definitionen oft dynamisch neu auf oder ordnen sie neu an. Normalisieren Sie die Reihenfolge, entfernen Sie irrelevante Tools und versionieren Sie das Schema bewusst.
Cache-Einträge werden geschrieben, aber selten wiederverwendet
Die explizite Erstellung eines Caches kann mehr kosten, als sie einspart, wenn der Traffic gering ist oder die TTL zu lang ist. Messen Sie die Wiederverwendung pro Cache-Identität, bevor Sie die Aufbewahrungsdauer verlängern.
Teams optimieren Tokens, ignorieren aber die Ausgaben
Output-Tokens, Wiederholungsversuche und menschliche Prüfung können die Gesamtkosten dominieren. Messen Sie weiterhin die gesamte Anfrage und das akzeptierte Ergebnis.
Das Verhalten des Anbieters wird als portabel angenommen
Automatisches Prefix-Caching, explizite Breakpoints, Speicherkosten, Mindestlängen für Prompts, unterstützte Modelle und Nutzungsfelder variieren je nach Anbieter. Erstellen Sie einen Provider-Adapter und halten Sie die Business-Metrik anbieterneutral.
Fallback zerstört die Cache-Lokalität
Der Wechsel zwischen Anbietern oder Modellfamilien kann die Wiederverwendung zunichte machen, da Caches nicht portabel sind. Das bedeutet nicht, dass Fallback deaktiviert werden sollte. Es bedeutet, dass Zuverlässigkeit und Kosten eine gemeinsame Policy benötigen: bei Bedarf auf einen anderen Dienst ausweichen und anschließend den Cache-Miss sowie die inkrementellen Kosten korrekt zuordnen.
Checkliste für die Provider-Implementierung
Bevor Sie Prompt-Caching für ein Modell aktivieren, bestätigen Sie:
- Ist Caching automatisch, explizit oder beides?
- Welche Modelle und API-Endpunkte unterstützen es?
- Welche Mindestlänge für Prompts gilt?
- Wie wird ein passender Präfix definiert?
- Welche TTL- oder Aufbewahrungsoptionen gibt es?
- Werden Cache-Writes, Reads und Speicher separat berechnet?
- Welche Antwortfelder zeigen gecachte Tokens oder die Erstellung des Caches an?
- Ändern Service-Tier, Region, Datenresidenz oder Zero-Retention-Einstellungen das Verhalten?
- Sind Caches nach Projekt, Konto, Organisation oder einer anderen Grenze isoliert?
- Was passiert, wenn die Anfrage auf ein anderes Modell oder einen anderen Anbieter zurückfällt?
Verwenden Sie die offizielle OpenAI prompt caching guide, die Anthropic prompt caching documentation, die Google Gemini context caching guide und die DeepSeek context caching guide für aktuelle Implementierungsdetails. Preise und Modellberechtigung können sich ändern, daher prüfen Sie diese Quellen bei jeder wesentlichen Kostenanalyse erneut.
Wo ein AI-Gateway passt
Ein einheitliches AI-Gateway macht Provider-Caches nicht portabel. Jeder Anbieter kontrolliert weiterhin seine eigenen Caching-Semantiken und die Abrechnung. Ein Gateway kann Teams jedoch einen zentralen Ort bieten, um Modellkennungen zu normalisieren, geeignete Workloads zu routen, anbieterbezogene Nutzung zu erfassen, die Kosten pro akzeptierter Aufgabe zu vergleichen und Fallback- oder Budgetrichtlinien durchzusetzen.
Flatkey bietet einen einzigen OpenAI-kompatiblen Endpunkt und ein einheitliches Guthaben für den Zugriff auf mehrere Modellfamilien. Das erleichtert es, Workflows mit und ohne Cache zu benchmarken, ohne jede Integration neu aufzubauen. Bestätigen Sie die aktuelle Caching-Unterstützung und das Verhalten des Anbieters für das ausgewählte Modell, bevor Sie einen Pfad als cache-fähig behandeln.
Wenn Sie bestehende Clients zuerst konsolidieren, verwenden Sie die OpenAI-compatible API gateway migration checklist und prüfen Sie Flatkeys aktuellen Modellzugang und Preise.
Häufig gestellte Fragen
Wie viel kann Prompt-Caching sparen?
Die Einsparungen hängen vom wiederverwendbaren Präfix, der Hit-Rate, den Anbieterpreisen, Schreib- oder Speicherkosten und den Implementierungskosten ab. Berechnen Sie die Nettoeinsparungen anhand der beobachteten gecachten Tokens, anstatt den beworbenen Rabatt auf alle Input-Tokens anzuwenden.
Welche Cache-Hit-Rate ist gut?
Es gibt kein universelles Ziel. Eine nützliche Trefferquote ist eine, die positive Nettokosteneinsparungen erzielt und die Kosten pro akzeptierter Aufgabe verbessert oder beibehält. Große Präfixe können niedrigere Trefferquoten rechtfertigen; kleine Präfixe erfordern möglicherweise eine sehr hohe Wiederverwendung.
Verbessert Prompt Caching die Latenz?
Es kann die Latenz der Eingabeverarbeitung bei Cache-Treffern reduzieren, aber der Effekt hängt vom Anbieter, Modell, der Promptgröße, dem Netzwerkpfad und der Arbeitslast ab. Verfolgen Sie P50- und P95-Latenz statt eine feste Verbesserung anzunehmen.
Sollte ich die gesamte Konversation cachen?
In der Regel sollten Sie ein stabiles Präfix maximieren und nicht blind alles cachen. Gesprächsverläufe wachsen und verändern sich. Behalten Sie stabile Anweisungen, Tools und Referenzinhalte am Anfang und fügen Sie dann den sich ändernden Verlauf und die Nutzereingaben an.
Können gecachte Prompts zwischen Anbietern geteilt werden?
Nein. Prompt-Caches auf Anbieterseite sind anbieterspezifisch. Wenn Routing den Anbieter oder das Modell ändert, behandeln Sie die Anfrage als wahrscheinlichen Cache-Miss, sofern der Anbieter nicht ausdrücklich kompatible Wiederverwendung dokumentiert.
Ist Prompt Caching für sensible Daten sicher?
Prüfen Sie die Datenverarbeitung, Cache-Isolation, Aufbewahrung, Datenresidenz und Zero-Retention-Bedingungen des Anbieters für Ihr Konto und Modell. Nutzen Sie Kostenoptimierung nicht, um Sicherheits-, Datenschutz- oder Mandantenisolationsanforderungen zu umgehen.
Beginnen Sie mit einem wiederholten Präfix
Der beste Prompt-Caching-Workflow ist bewusst eng gefasst: Wählen Sie eine teure Arbeitslast mit hoher Wiederverwendung; verschieben Sie stabile Inhalte an den Anfang; versionieren Sie sie; messen Sie Treffer, Fehltreffer, Latenz, Qualität und Kosten; und berechnen Sie dann den Nett-ROI.
Wenn das Ergebnis die Kosten pro akzeptierter Aufgabe verbessert, erweitern Sie das Muster auf den nächsten Workflow. Wenn nicht, zeigt Ihnen die Telemetrie, ob das Problem in der Prompt-Fragmentierung, unzureichendem Volumen, kurzer Aufbewahrung, der Preisgestaltung des Anbieters oder einer Arbeitslast liegt, die nie ein guter Kandidat fürs Caching war.
