Welche versteckten Kosten haben Cloud-GPU-Services? Speicher, Egress, Leerlaufzeit und Support

Was sind die versteckten Kosten von Cloud-GPU-Services? Die kurze Antwort lautet: Der stündliche GPU-Preis ist nur die Startlinie. Die eigentliche Rechnung umfasst auch Speicher, Snapshots, Bandbreiten-Egress, inaktive Notebooks oder Pods, Cold Starts, fehlgeschlagene Jobs, Support-Pläne, privates Networking, Monitoring und die technische Arbeit, die erforderlich ist, um GPU-Kapazität nutzbar zu halten.

Für Enterprise-AI-Teams treten versteckte Kosten von GPU-Clouds meist nach dem ersten erfolgreichen Benchmark auf. Das Team sieht einen vernünftigen Stundenpreis für H100, H200, A100, L40S oder RTX, beginnt damit, Modelle und Daten zu verschieben, und stellt dann fest, dass die Rechnung von allem rund um den Beschleuniger geprägt wird. Eine günstigere GPU kann am Ende teurer sein, wenn sie ungenutzt herumsteht, Modellgewichte immer wieder neu lädt, Terabytes zwischen Regionen verschiebt oder eine Support-Stufe benötigt, die im ursprünglichen Angebot fehlte.

Dieser Leitfaden bietet Plattform-Engineering-, FinOps-, Beschaffungs- und AI-Produktteams eine praktische Möglichkeit, die Cloud-GPU-Kosten vor dem Abschluss eines Miet-, Reserved-Capacity- oder Dedizierter-Cluster-Vertrags zu prüfen.

Die nützliche Regel ist einfach:

reale Cloud-GPU-Kosten =
  GPU-Compute
  + Speicher
  + Egress und Networking
  + Leerlaufzeit
  + Restart- und Ausfallverschwendung
  + Support
  + Betriebsaufwand

Wenn Sie Anbieter nur nach der GPU-Position vergleichen, vergleichen Sie nicht die Kosten eines funktionierenden KI-Systems.

Versteckte Kosten der GPU-Cloud: die kurze Antwort

Beginnen Sie jede Prüfung versteckter GPU-Cloud-Kosten mit dieser Tabelle.

Für eine erste Käuferprüfung stellen Sie eine Frage: Welche versteckten Kosten haben Cloud-GPU-Services, nachdem die GPU bereits läuft? Die Antwort ist selten eine einzelne Überraschungsgebühr. Meist handelt es sich um eine Reihe gewöhnlicher Cloud-Komponenten, die teuer werden, weil KI-Workloads große Artefakte bewegen und teure Beschleunigerzeit verschwenden, wenn das Orchestrieren schwach ist.

Warum die angegebene GPU-Stunde unvollständig ist

Eine GPU-Stunde in der Cloud ist eine Kapazitätseinheit. Sie ist kein abgeschlossener Trainingslauf, keine akzeptierte Inferenzantwort, kein erzeugtes Video und kein erfolgreicher Evaluierungs-Batch.

Dieser Unterschied ist wichtig, weil GPU-Workloads oft hohe umliegende Kosten verursachen:

• Modellgewichte können Dutzende oder Hunderte Gigabyte groß sein.
• Fine-Tuning-Datensätze und Checkpoints können noch lange nach Ende des Jobs bestehen bleiben.
• Inferenz-Endpunkte benötigen möglicherweise warme Kapazität für geringe Latenz, auch wenn das Anfragevolumen ungleichmäßig ist.
• Multi-Node-Training kann scheitern, wenn ein Worker, ein Netzwerk-Link oder ein Speicher-Mount fehlerhaft funktioniert.
• Marketplace- oder Spot-Kapazitäten können günstiger sein, benötigen aber Kontrollen für Neustarts und doppelte Arbeit.

Der bessere Nenner ist:

Kosten pro abgeschlossenem Workload =
  all-in Cloud-GPU-Kosten
  / abgeschlossene Läufe, akzeptierte Ausgaben, akzeptierte Tokens, Bilder, Clips oder Datensätze

Dies ist dieselbe Logik wie im umfassenderen Leitfaden von Flatkey zu GPU-Cloud vs. Model-API. Wenn das Unternehmen Modelloutputs benötigt, vergleichen Sie die Kosten pro akzeptiertem Output. Wenn das Unternehmen wirklich Hardware-Kontrolle braucht, vergleichen Sie jede GPU-Option anhand der Kosten pro abgeschlossenem Workload.

Versteckte Kosten 1: Speicher, Snapshots und Modell-Artefakte

Speicher ist die erste versteckte Kostenstelle von Cloud-GPU-Services, weil KI-Teams Daten nahe an der Rechenleistung benötigen. Die Position kann Folgendes umfassen:

• Persistente Block-Datenträger oder Volumes, die an GPU-Instanzen angehängt sind.
• Objektspeicher für Datensätze, Prompts, Outputs und Modell-Artefakte.
• Snapshots und Backups.
• Netzwerk-Dateisysteme oder gemeinsam genutzte Volumes für Cluster.
• Lokales NVMe, das bei einigen Maschinen enthalten ist, aber verloren geht, wenn die Instanz zerstört wird.
• Lang lebende Model-Caches, für die nach einem Experiment niemand verantwortlich ist.

Für einen kleinen Benchmark wirkt Speicher vielleicht vernachlässigbar. Für ein produktives LLM, ein Vision-Modell oder eine Medien-Pipeline kann er zu dauerhaftem monatlichem Aufwand werden. Der Fehler besteht darin, alles für immer aufzubewahren, nur weil das Löschen des falschen Modell-Cache den nächsten Lauf verlangsamen würde.

Verwenden Sie eine Drei-Bucket-Policy:

Zu prüfende Anbieter-Seiten sind unter anderem die Preisgestaltung von AWS EC2 und EBS, die Preisgestaltung von Google Cloud Persistent Disk und Snapshots, die Preisgestaltung von Azure Managed Disks, die Dokumentation zu RunPod-Speicher und Network Volumes, die Details zu Speicherangeboten von Vast.ai sowie die Annahmen von Lambda Cloud zu Instanzspeicher. Betrachten Sie diese als Quellen-Checklisten, nicht als kopierte Tariftabellen.

Versteckte Kosten 2: Egress und Netzwerktransfer

Egress ist die versteckte Kostenart, die Teams, die Daten zwischen Clouds, Regionen oder Provider-Kategorien verschieben, am ehesten überrascht. GPU-Jobs sind oft um große Eingaben und große Artefakte herum aufgebaut:

• Trainingsdatensätze.
• Fine-Tune-Checkpoints.
• Embedding-Ausgaben.
• Generierte Bilder und Videos.
• Evaluierungs-Traces und Logs.
• Container-Images und Modellgewichte.

Die Gebühr ist nicht nur „Download ins Internet“. Je nach Anbieter und Architektur können auch Cross-Region-Transfer, Cross-Zone-Transfer, NAT, Load Balancer, öffentliche IPs, Private Links oder verwaltete Netzwerkdienste berechnet werden. Bei Multi-Node-Clustern ist das Netzwerk-Fabric außerdem eine Leistungsanforderung und nicht nur eine Position auf der Rechnung.

Bevor Sie Ausgaben freigeben, kartieren Sie den Datenpfad:

Quelldatensatz
  -> Objektspeicher
  -> GPU-Region
  -> Scratch- oder Shared Storage
  -> Inferenz-/Trainingsausgabe
  -> Evaluierungs- oder Anwendungsregion
  -> Kunde, Data Warehouse oder Archiv

Fragen Sie dann:

1. Befindet sich der Datensatz bereits in derselben Region wie die GPU?
2. Wird der Job Modellgewichte für jeden Worker wiederholt herunterladen?
3. Verlassen die generierten Ausgaben den Anbieter oder werden sie nur intern verschoben?
4. Reduziert eine private Verbindung das Sicherheitsrisiko, fügt aber feste Netzwerkkosten hinzu?
5. Werden Logs und Traces regionsübergreifend exportiert?

Wenn der Datenpfad täglich Regionen oder Anbieter überquert, kann ein niedriger GPU-Stundensatz das falsche Optimierungsziel sein.

Versteckte Kosten 3: Leerlaufzeit und schlechte Auslastung

Leerlaufzeit ist die direkteste versteckte GPU-Cloud-Kostenart, weil der Beschleuniger teuer ist, egal ob er nützliche Arbeit verrichtet oder auf eine Person, eine Warteschlange, einen Image-Pull, ein fehlgeschlagenes Deployment oder einen Datenladevorgang wartet.

Messen Sie zwei Zahlen getrennt:

abrechenbare Laufzeit =
  Minuten, die der Anbieter für die GPU-Ressource berechnet

nützliche GPU-Aktivzeit =
  Minuten, die mit akzeptiertem Training, Inferenz-, Evaluierungs- oder Generierungs-Work verbracht werden

Berechnen Sie dann:

Anteil verschwendeter Leerlaufzeit =
  1 - nützliche GPU-Aktivzeit / abrechenbare Laufzeit

Wenn ein Notebook 100 abrechenbare Stunden läuft und nützliche GPU-Arbeit 32 Stunden lang stattfindet, beträgt der versteckte Leerlaufverlust 68 %. Eine Verhandlung über 10 % niedrigere GPU-Preise behebt das nicht. Eine Auto-Stop-Policy, Queue-Packing, Job-Scheduling und Owner-Tagging schon.

Nützliche Kontrollen:

• Interaktive Notebooks nach Inaktivität automatisch stoppen.
• Ungebundene Pods, verwaiste Endpunkte und aufgegebene Experimente beenden.
• Owner-, Projekt-, Umgebungs- und Ablauf-Tags verpflichtend machen.
• GPU-Auslastung, Speicherauslastung, Warteschlangenwartezeit und abrechenbare Laufzeit zusammen verfolgen.
• Wiederkehrende Jobs aus Notebooks in einen Scheduler verschieben.
• Warnen, wenn eine GPU für ein definiertes Zeitfenster unter einem Auslastungsschwellenwert bleibt.

Leerlaufzeit ist auch der Hauptgrund, warum eine verwaltete Modell-API gegenüber der direkten GPU-Miete für unsichere Inferenz-Workloads besser abschneiden kann. Wenn die Auslastung niedrig oder stark schwankend ist, vergleichen Sie das GPU-Worksheet mit AI model pricing comparison, bevor Sie Kapazität reservieren.

Versteckte Kosten 4: Unterbrechungen, Wiederholungen und fehlgeschlagene Workloads

Spot-, unterbrechbare und Marketplace-GPU-Kapazitäten können nützlich sein. Sie können die Kosten aber auch von der Preistabelle in die Retry-Logik verschieben.

Das Kostenmodell sollte Folgendes einschließen:

• Evictions und Preemptions.
• Wiederholte Modell-Downloads.
• Verlorene Arbeit seit dem letzten Checkpoint.
• Duplizierte Batch-Datensätze.
• Fehlgeschlagene Fine-Tunes.
• Out-of-Memory-Läufe.
• Schlechte Treiber- oder CUDA-Kombinationen.
• Warteschlangenverzögerung, wenn Ersatzkapazität nicht verfügbar ist.

Für wiederholbare Jobs verwenden Sie:

effektive Kosten bei Fehlern =
  ausgewiesene Compute-Kosten
  * Retry-Amplifikationsfaktor

Wenn für 1.000 akzeptierte Ausgaben nach Fehlern, Evictions und fehlgeschlagenen Qualitätsprüfungen 1.180 versuchte Ausgaben erforderlich sind, beträgt der Retry-Amplifikationsfaktor 1,18x. Dieser Multiplikator gehört in dasselbe Worksheet wie der Stundenpreis.

Für eine vertiefte Auswahl zwischen Preismodellen nutzen Sie Flatkeys Guide zu On-Demand vs. Spot-GPU. Für diesen Artikel ist der zentrale Punkt enger gefasst: Versteckte Kosten sind nicht nur Speicher und Egress. Auch fehlgeschlagene Arbeit ist kostenpflichtige Arbeit, sofern Ihr Anbieter sie nicht ausdrücklich gutschreibt.

Versteckte Kosten 5: Support, SLA und Umfang des Managed Service

Support wird leicht übersehen, weil er oft außerhalb des GPU-Angebots erscheint. Enterprise-AI-Teams benötigen möglicherweise:

• Kostenpflichtige Support-Pläne.
• Verbindliche Reaktionszeiten.
• Privater Slack- oder Account-Support.
• Dediziertes Onboarding für Cluster.
• Unterstützung bei der Migration.
• Sicherheitsprüfung.
• Compliance-Dokumentation.
• Support für Managed Kubernetes, Slurm oder Inference-Serving.
• Gutschriften oder Entschädigungen bei Ausfällen auf Seiten des Anbieters.

Support ist nicht automatisch schlecht. Er kann günstiger sein als der Verlust von Einführungszeit durch ungelöste Probleme mit GPU-Kapazität, Treibern oder Netzwerken. Der Beschaffungsfehler besteht darin, den stündlichen Self-Service-GPU-Preis eines Anbieters mit dem verwalteten oder unterstützten Preis eines anderen Anbieters zu vergleichen, als wären sie gleichwertig.

Fragen Sie jeden Anbieter:

Für private Cluster und Multi-Node-Kapazitäten kann der Support-Umfang ebenso wichtig sein wie das GPU-Modell.

Versteckte Kosten 6: Monitoring, Logs und Observability

GPU-Workloads brauchen Observability, die über eine monatliche Rechnung hinausgeht. Die Kosten entstehen an zwei Stellen: bei den Observability-Tools selbst und bei der Engineering-Zeit, die nötig ist, um Metriken in Maßnahmen umzusetzen.

Verfolgen Sie:

• GPU-Auslastung und Speicherauslastung.
• p50-, p95- und p99-Latenz.
• Wartezeit in der Queue und Cold-Start-Zeit.
• Container-Pull-Zeit.
• Modell-Ladezeit.
• Out-of-Memory-Fehler.
• Anzahl der Wiederholungen und Kosten der Wiederholungen.
• Egress-Volumen.
• Speicherwachstum pro Projekt.
• Kosten pro akzeptierter Ausgabe.

Logs und Traces können ebenfalls zu einer Rechnungsposition werden, wenn sie ausführlich sind, zu lange aufbewahrt werden oder in eine andere Region exportiert werden. Halten Sie genügend Details vor, um Kosten- und Zuverlässigkeitsprobleme zu debuggen, definieren Sie jedoch die Aufbewahrung nach Umgebung. Produktions-Traces, Evaluierungs-Logs und Debug-Logs brauchen nicht denselben Lebenszyklus.

Versteckte Kosten 7: Reservierungs-Mismatch und Kapazitätsbindung

Reservierte GPU-Kapazität kann die effektiven Compute-Kosten senken, wenn die Nachfrage real ist. Sie kann aber auch zu einem Abo für ungenutzte Kapazität werden.

Verwenden Sie diese Formel vor der Bindung:

break-even-Auslastung der Reservierung =
  monatliche Verpflichtung für die Reservierung
  / äquivalente monatliche On-Demand-Kosten bei voller Nutzung

Führen Sie dann einen Stresstest durch:

• Was passiert, wenn die Nachfrage 40 % unter der Prognose liegt?
• Was passiert, wenn das Produkt von einer Modellfamilie auf eine andere wechselt?
• Kann die Verpflichtung von H100 auf H200, B200, L40S oder eine andere Region umgestellt werden?
• Sind Speicher, Egress, Support und Netzwerkanbindung in der Verpflichtung enthalten?
• Können andere interne Workloads ungenutzte Basiskapazität füllen?

Wenn die Antwort von Hoffnung abhängt, reservieren Sie weniger und halten Sie Burst-Kapazität flexibel. Bei größeren Deployments kombinieren Sie dies mit dem GPU-Cluster-TCO-Arbeitsblatt.

Arbeitsblatt zu versteckten Kosten von Cloud-GPUs

Verwenden Sie dieses Arbeitsblatt in Beschaffungsprüfungen. Füllen Sie es für jeden Anbieter, jede Region und jeden Produktmodus aus.

Das Arbeitsblatt sollte für Produktions-Workloads monatlich und vor jeder Verlängerung einer vertraglichen Bindung überprüft werden.

Checkliste der Anbieterquellen

GPU-Preis- und Speicherseiten ändern sich häufig. Übertragen Sie keine alten Zahlen in einen Business Case. Verwenden Sie offizielle Seiten als Checkliste der Quellen und notieren Sie das geprüfte Datum neben jedem Angebot.

Für diesen Artikel wurde die Quellen-Checkliste am 13. Oktober 2026 geprüft. Prüfen Sie sie erneut, bevor Sie ein Anbieterangebot in einer Freigabememorandum verwenden.

Beschaffungsfragen vor der Genehmigung von Cloud-GPU-Ausgaben

Verwenden Sie diese Fragen, bevor Sie ein Angebot annehmen oder mit einer Migration beginnen.

1. Welche versteckten Kosten haben Cloud-GPU-Services in diesem Angebot, und welche sind nicht im Angebot enthalten?
2. Sind Speicher, Snapshots, Objektspeicher und Backups enthalten oder separat?
3. Welche Datentransfers verursachen Egress- oder Cross-Region-Gebühren?
4. Wie hoch ist die erwartete Leerlaufquote nach Scheduler-Lücken, Startzeit und manuellem Debugging?
5. Wie werden Spot-Unterbrechungen, Host-Ausfälle und Vorfälle auf Provider-Seite gutgeschrieben?
6. Welcher Support-Tarif ist für Produktions-Reaktionszeiten erforderlich?
7. Wer ist für CUDA-, Treiber-, Image-, Kernel- und Serving-Stack-Probleme verantwortlich?
8. Welche Kennzahlen belegen nach dem Start eine nützliche Auslastung?
9. Wie sieht der Exit-Pfad aus, wenn sich die Modellauswahl ändert?
10. Kann eine verwaltete Model-API oder ein hybrider Ansatz dasselbe akzeptierte Ergebnis mit weniger ungenutzter Kapazität liefern?

Die letzte Frage ist kein Verkaufstrick. Sie ist ein TCO-Hebel. Wenn der Workload keine Hardwarekontrolle erfordert, ist GPU-Miete nur eine mögliche Art, Model-Outputs zu beziehen.

Wann Flatkey in den Vergleich gehört

Flatkey ist kein Ersatz für jeden GPU-Cluster. Teams benötigen weiterhin Cloud-GPU-Kapazität für Custom Training, selbst gehostete Open-Weight-Modelle, spezialisierte Kernel, private Cluster und streng kontrollierte Infrastruktur.

Flatkey gehört in den Vergleich, wenn es beim Workload eigentlich darum geht, Modellergebnisse zu nutzen:

• Das Produkt benötigt viele offizielle Modelle statt eines selbst gehosteten Modells.
• Die Nachfrage ist unsicher, sprunghaft oder saisonal.
• Die Finanzabteilung möchte eine Rechnung, eine Abrechnung und ein Nutzungsprotokoll.
• Engineering möchte Modellzugriff ohne verstreute Provider-Keys.
• Das Team möchte die Kosten der Model-API vergleichen, bevor GPUs gemietet oder reserviert werden.

Auf diesem Weg gibt Flatkey Teams einen API-Key, ein Guthaben und eine Rechnung für offizielle Modellrouten und Tools. Wenn das Worksheet zu den versteckten Kosten zeigt, dass Speicher, Egress, Leerlaufzeit und Support den Vorteil der GPU-Stunde zunichtemachen, vergleichen Sie vor der Hardware-Entscheidung die verwaltete API-Route.

Beginnen Sie mit den Leitfäden zu GPU-Mietpreisen, GPU-Cloud vs. Model-API, GPU-Cluster-TCO und KI-API-Ausgabenmanagement für die weitergehende Entscheidung.

Endempfehlung

Wenn jemand fragt, welche versteckten Kosten Cloud-GPU-Services haben, antworten Sie nicht mit einer einzelnen Gebühr. Antworten Sie mit einem Worksheet.

1. Gehen Sie vom stündlichen GPU-Preis aus.
2. Addieren Sie Speicher, Snapshots, Egress, Netzwerk, Support, Observability und Betrieb.
3. Subtrahieren Sie nichts, bis eine Provider-Gutschrift vertraglich festgehalten ist.
4. Teilen Sie durch abgeschlossene Arbeit, nicht durch abrechenbare Stunden.
5. Führen Sie das Modell unter niedrigerer Auslastung, höherer Retry-Rate und geänderter Modellauswahl erneut aus.

Cloud-GPU-Services können die richtige Antwort sein, wenn das Team Hardwarekontrolle braucht und die Kapazität sinnvoll nutzen kann. Sie werden teuer, wenn Speicher unbemerkt wächst, Daten wiederholt verschoben werden, GPUs ungenutzt herumstehen, Support fehlt und fehlgeschlagene Arbeit als Problem anderer betrachtet wird.

Die Aufgabe des Käufers ist es, diese Kosten sichtbar zu machen, bevor die Rechnung eintrifft.