Souveräne KI-Infrastruktur: Modelle, Datenresidenz und Kontrolle über Rechenressourcen (Leitfaden 2026)
Souveräne KI-Infrastruktur umfasst Rechenressourcen, Daten, Modelle und den Betrieb, die ein Land oder eine Organisation unter der eigenen Rechtsordnung kontrolliert, statt von ausländisch kontrollierten Diensten abhängig zu sein. In der Praxis bedeutet das vier Dinge: GPUs in einer gewählten Rechtsordnung, Daten, die dort verbleiben, Modelle, die Sie selbst ausführen und prüfen können (meist mit offenen Modellgewichten), und Betreiber, die dem lokalen Recht unterliegen. Die meisten Unternehmen benötigen keine vollständige Souveränität, sondern das passende Maß an Kontrolle für jeden Workload.
Dieser Leitfaden richtet sich an Teams für Unternehmens-KI, Infrastruktur und Beschaffung, die den Auftrag erhalten haben, „unsere KI souverän zu machen“. Er definiert den Begriff, erläutert die regulatorischen Treiber mit Stand Oktober 2026, beschreibt fünf Kontrollstufen von öffentlichen APIs bis zu vollständig vom Netz getrennten Clustern und zeigt anhand eines Beispiels die Dimensionierung und Kosten einer GPU-Bereitstellung im Inland.
Was ist souveräne KI?
NVIDIA beschreibt souveräne KI als den Aufbau von KI durch Länder „mithilfe nationaler Infrastruktur, Daten, Fachkräfte und Unternehmensnetzwerke, abgestimmt auf ihre Sprache, Kultur und Vorschriften“, wobei die Modelle „auf lokaler Infrastruktur gehostet und ausgeführt werden und ausschließlich lokalem Recht unterliegen“ (NVIDIA). Red Hat betrachtet das Thema aus Unternehmenssicht: Kontrolle darüber, wo KI läuft, wer darauf zugreifen kann und welche Komponenten sich prüfen und austauschen lassen.
Der Begriff umfasst zwei verwandte Ziele:
- Nationale souveräne KI: Ein Land baut eigene Rechenkapazitäten, Modelle für die Landessprache und Fachkompetenz auf, damit kritische Dienste nicht von ausländischen Anbietern abhängen.
- Souveräne KI im Unternehmen: Eine Organisation hält regulierte Daten, Modelle und den KI-Betrieb unter selbst gewählten Rechtsordnungen und vertraglichen Bedingungen.
Beide beruhen auf denselben Infrastrukturebenen.
Die vier Ebenen souveräner KI-Infrastruktur
| Ebene | Was „souverän“ bedeutet | Typische Kontrollmaßnahmen |
|---|---|---|
| Rechenressourcen | GPUs in einem gewählten Land, betrieben von einer Organisation, die dem Recht dieses Landes unterliegt | Rechenzentren im Inland, dedizierte oder private GPU-Cluster, souveräne Cloud-Regionen |
| Daten | Trainingsdaten, Prompts, Ausgaben, Protokolle und Backups verbleiben innerhalb der Rechtsordnung | Vertraglich zugesicherte Datenresidenz, regionaler Speicher, Verschlüsselung mit Schlüsseln in Kundenhand |
| Modelle | Sie können das Modell ohne Zustimmung eines ausländischen Anbieters ausführen, prüfen, feinabstimmen und weiterverwenden | Selbst gehostete Modelle mit offenen Gewichten (Llama, Mistral, Qwen, DeepSeek) oder vertragliche Garantien für geschlossene Modelle |
| Betrieb | Administratoren, Supportmitarbeiter und Unterauftragsverarbeiter sind lokal ansässig und überprüfbar | Lokales Supportpersonal, Zugriffsprotokollierung, unabhängige Prüfungsrechte, Ausstiegspläne |
Eine Bereitstellung ist nur so souverän wie ihre schwächste Ebene. GPUs im Inland helfen nicht, wenn Prompts bei einem Monitoringdienst im Ausland protokolliert werden. Ebenso wenig hilft ein lokales Modell, wenn der einzige administrative Zugang über das Supportteam eines ausländischen Anbieters führt.
Warum Souveränität 2026 auf der Agenda steht
Drei Faktoren machen daraus eine konkrete Beschaffungsfrage statt einer politischen Grundsatzdebatte:
- Fristen des EU AI Act. Laut dem Zeitplan zur Umsetzung des AI Act (zuletzt aktualisiert am 31. August 2026) gelten die meisten noch ausstehenden Bestimmungen seit dem 2. August 2026; Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, die bereits vor dem 2. August 2025 auf dem Markt waren, müssen die Vorgaben bis zum 2. August 2027 erfüllen; die Pflichten für Hochrisikosysteme nach Anhang III gelten ab dem 2. Dezember 2027. Organisationen brauchen Prüfpfade und Dokumentation unter eigener Kontrolle.
- Regeln für grenzüberschreitende Datenübermittlungen. Nach der DSGVO dürfen personenbezogene Daten nur in Länder mit einem Angemessenheitsbeschluss der EU frei übermittelt werden; andere Übermittlungen erfordern Garantien. Gleichzeitig eröffnet der US-amerikanische CLOUD Act (März 2018) US-Behörden einen Weg, Daten von Anbietern mit Sitz in den USA anzufordern. Deshalb fragen Einkäufer in der EU danach, wer einen Dienst betreibt, und nicht nur danach, wo er läuft.
- Anbieter- und Versorgungsrisiken. Die Einstellung von Modellen, Preisänderungen, Änderungen der Nutzungsrichtlinien und GPU-Exportkontrollen können ein Produkt beeinträchtigen, das auf einer einzigen ausländischen API basiert.
Cloud-Anbieter haben mit souveränen Angeboten reagiert: AWS hat die AWS European Sovereign Cloud als unabhängige Cloud für Europa eingeführt; Microsoft verpflichtet sich mit der EU Data Boundary, Kundendaten seiner Unternehmensdienste innerhalb der EU zu speichern und zu verarbeiten; Oracle vermarktet souveräne Cloud-Angebote mit Kontrollen für Standort, Zugriff und Betrieb.
Fünf Stufen der KI-Souveränität
Wählen Sie die passende Stufe für jeden Workload, statt eine einzige Stufe für das gesamte Unternehmen festzulegen.
| Stufe | Aufbau | Datenresidenz | Modellkontrolle | Betriebskontrolle | Geeignet für |
|---|---|---|---|---|---|
| 1. Öffentliche API | Globaler Endpunkt eines Modellanbieters | Nach Wahl des Anbieters | Keine | Anbieter | Öffentliche Inhalte, Prototypen |
| 2. Regionale API | Derselbe Anbieter mit regionaler Verarbeitung oder Verarbeitung im Inland (z. B. ausschließlich in den USA ausgeführte Inferenz von Claude zum Faktor 1.1x, regionale Datenresidenz-Endpunkte von OpenAI mit +10%) | Vertraglich vereinbarte Region | Keine | Anbieter | Die meisten internen Geschäftsdaten |
| 3. Souveräne Cloud | Modellhosting in einer souveränen Region, betrieben von einer lokalen Organisation | Im Inland | Eingeschränkt (Modelle aus dem Katalog) | Lokaler Betreiber | Regulierte Branchen, öffentlicher Sektor |
| 4. Dedizierte GPUs im Inland | Gemieteter oder reservierter GPU-Cluster im gewählten Land, auf dem Sie Modelle mit offenen Gewichten bereitstellen | Im Inland, auf Ihrem Speicher | Vollständig | Sie und der Rechenzentrumsbetreiber | Gesundheitswesen, Finanzwesen, Zulieferer der Verteidigungsindustrie, nationale LLMs |
| 5. On-Premises oder vollständig vom Netz getrennt | Eigene Hardware ohne externes Netzwerk | Auf Ihrem Gelände | Vollständig | Sie | Geheime oder besonders streng beschränkte Workloads |
Die Preisangaben in Stufe 2 stammen von der offiziellen Claude-Preisseite und der Preisseite von OpenAI mit Stand Oktober 2026: Regionale Verarbeitung kostet in der Regel etwa 10 Prozent mehr als globale Verarbeitung. Bei den Stufen 4 und 5 entfällt dieser Aufpreis; dafür müssen Sie die GPU-Kapazität auslasten.
Einen souveränen KI-Stack konzipieren
Rechenressourcen
Für selbst gehostete Inferenz und Fine-Tuning kommen im Oktober 2026 in der Praxis NVIDIA H100, H200, B200 und B300 sowie Beschleuniger der AMD MI300-Serie infrage. Der Speicher entscheidet darüber, wie groß ein Modell sein darf, damit es auf eine GPU passt; dazu finden Sie weitere Informationen in unserem Vergleich H200 vs. H100 und im Beitrag zu den GPU-Speicheranforderungen von LLMs. Zur Clusterkonzeption (Netzwerk, Speicher, Scheduling) lesen Sie die Beiträge zur GPU-Clusterarchitektur und zur privaten GPU-Cloud.
Fragen, die Sie jedem GPU-Anbieter für eine souveräne Bereitstellung stellen sollten:
- Welche juristische Person betreibt das Rechenzentrum, und welchem Landesrecht unterliegt sie?
- Können der genaue Rechenzentrumsstandort und die Region im Vertrag benannt werden?
- Wer hat physischen und administrativen Fernzugriff, und wird dieser protokolliert?
- Wohin gelangen Backups, Protokolle und Monitoringdaten?
- Können Sie Ihre Daten und Datenträger bei Vertragsende mitnehmen?
Modelle
Modelle mit offenen Gewichten bilden das Fundament der Souveränitätsstufen 4 und 5: Sie können sie überall hosten und auch dann weiterverwenden, wenn der Anbieter seine Bedingungen ändert. Gängige Optionen sind die in Frankreich entwickelten Modelle von Mistral, die Llama-Familie von Meta sowie die offenen Veröffentlichungen von Qwen und DeepSeek. Prüfen Sie jede Lizenz auf Beschränkungen der kommerziellen Nutzung und bewerten Sie die Qualität in der jeweiligen Landessprache anhand Ihrer eigenen Daten.
Modellbereitstellung
Mit einem OpenAI-kompatiblen Inferenzserver können Anwendungen durch die Änderung einer einzigen URL zwischen einem souveränen, selbst gehosteten Modell und einer öffentlichen API wechseln. Mit vLLM:
docker run --gpus all -p 8000:8000 \
-v /data/models:/models \
vllm/vllm-openai:latest \
--model /models/your-open-weight-model \
--tensor-parallel-size 2 \
--max-model-len 32768
from openai import OpenAI
# Sovereign endpoint inside your in-country cluster
client = OpenAI(base_url="http://inference.internal:8000/v1", api_key="local-token")
r = client.chat.completions.create(
model="/models/your-open-weight-model",
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
print(r.choices[0].message.content)
Hinterlegen Sie die Basis-URL in der Konfiguration, damit Workloads mit nicht sensiblen Daten eine regionale oder öffentliche API nutzen können, während regulierte Workloads auf dem souveränen Endpunkt bleiben. Unser Leitfaden zu OpenAI-kompatiblen Inferenzservern vergleicht vLLM, SGLang und weitere Lösungen.
Daten und Betrieb
- Halten Sie Prompts, Ausgaben, Vektordatenbanken und Protokolle in derselben Rechtsordnung wie das Modell.
- Verwenden Sie kundenseitig verwaltete Verschlüsselungsschlüssel, die im Inland gespeichert werden.
- Senden Sie Observability-Daten an einen lokal gehosteten Stack statt an einen ausländischen SaaS-Dienst.
- Dokumentieren Sie Unterauftragsverarbeiter; unsere DPA-Checkliste für KI-Gateways führt Vertragsklauseln auf, die Sie einfordern sollten.
Kostenbeispiel: ein souveräner Inferenzdienst für ein Modell der 70B-Klasse
Im Marktindex von Flatkey Compute vom 23. Oktober 2026 (aktualisiert um 02:01 UTC) lagen die Referenzpreise für H200-Kapazität bei $3.65 pro GPU-Stunde bei bedarfsgerechter Nutzung und $2.74 bei einer Laufzeit von 1 Jahr, für H100 bei $2.64 beziehungsweise $1.98.
Ein Modell der 70B-Klasse mit offenen Gewichten benötigt in FP8 etwa 70GB für die Gewichte. Eine H200 (141GB) lässt Platz für den KV-Cache; für Redundanz würden Sie mindestens zwei Replikate betreiben.
| Option | GPUs | Stündlich (Index) | Monatlich (730 Stunden) |
|---|---|---|---|
| 2x H200, bedarfsgerechte Nutzung | 2 | $7.30 | etwa $5,329 |
| 2x H200, Laufzeit von 1 Jahr | 2 | $5.48 | etwa $4,000 |
| 4x H100 (2 Replikate x 2 GPUs), Laufzeit von 1 Jahr | 4 | $7.92 | etwa $5,782 |
Hinzu kommen Speicher, Netzwerk, Monitoring und Personalaufwand; unser Leitfaden zu den Gesamtbetriebskosten von GPU-Clustern enthält eine vollständige Kalkulationsvorlage. Vergleichen Sie das mit Ihren erwarteten API-Ausgaben auf Stufe 2: Wenn eine regionale API weniger als der Cluster kosten würde und Ihre rechtlichen Anforderungen erfüllt, ist sie in der Regel die bessere Wahl. Die Indexpreise dienen als Referenz; die tatsächlichen Preise für Kapazität im Inland unterscheiden sich je nach Land und Laufzeit und werden im Angebot bestätigt.
Checkliste für den Einstieg in souveräne KI
- Klassifizieren Sie Workloads nach Datensensibilität und rechtlichen Anforderungen und weisen Sie jedem eine Souveränitätsstufe zu.
- Erfassen Sie sämtliche Datenflüsse: Prompts, Ausgaben, Embeddings, Protokolle, Backups und Telemetrie.
- Wählen Sie Modelle, die Sie in der Zielrechtsordnung rechtmäßig betreiben dürfen, und testen Sie ihre Qualität in der jeweiligen Landessprache.
- Wählen Sie Rechenressourcen mit einem konkret benannten Rechenzentrum, Betreiber und vertraglichen Ausstiegsbedingungen.
- Schalten Sie vor jedes Modell einen OpenAI-kompatiblen Endpunkt, damit Anwendungen zwischen den Stufen wechseln können.
- Behalten Sie die Kontrolle über Prüfnachweise (Zugriffsprotokolle, Modellversionen, Evaluationsergebnisse) für Prüfungen nach dem AI Act und branchenspezifischen Vorgaben.
- Überprüfen Sie den Plan alle sechs Monate; Angebote für regionale APIs und GPU-Preise ändern sich schnell.
FAQ
Was ist souveräne KI?
Souveräne KI wird auf Infrastruktur, Daten und Modellen aufgebaut und betrieben, die ein Land oder eine Organisation unter der eigenen Rechtsordnung kontrolliert. Dazu gehören Rechenressourcen im Inland, Datenresidenz, Modelle, die Sie selbst ausführen und prüfen können (häufig mit offenen Gewichten), und ein Betrieb unter lokaler rechtlicher Verantwortung.
Was ist souveräne KI-Infrastruktur?
Die Hardware- und Softwareebenen, die souveräne KI ermöglichen: GPU-Rechenzentren im Inland, regionaler Speicher und regionale Netzwerke, Stacks zur Modellbereitstellung sowie die betrieblichen Kontrollen und Verträge, die den Zugriff unter lokaler Rechtshoheit halten.
Welche Länder haben Programme für souveräne KI?
Viele. Zu den Beispielen von NVIDIA gehören Frankreich (KI-Agenten für öffentliche Dienstleistungen im Wirtschafts- und Finanzministerium), Indien (mehrsprachige Modelle von Sarvam auf inländischer Infrastruktur sowie das staatliche IndiaAI-Programm) und Brasilien (KI für Rechtsdienstleistungen in Rio Grande do Sul). Länder in Europa, dem Nahen Osten und Asien finanzieren nationale Rechenkapazitäten und Modelle für die jeweiligen Landessprachen.
Welche Unternehmen sind führend bei KI-Infrastruktur?
Häufig als führend genannt werden NVIDIA und AMD bei Beschleunigern; AWS, Microsoft Azure, Google Cloud und Oracle bei Cloud- und souveränen Cloud-Regionen; sowie GPU-Spezialisten wie CoreWeave und Lambda bei dedizierter Kapazität. Bei souveränen Projekten ist die Rechtsordnung des Betreibers ebenso wichtig wie die Marke.
Ist Datenresidenz dasselbe wie Datensouveränität?
Nein. Datenresidenz bedeutet, dass Daten an einem bestimmten Ort gespeichert werden. Datensouveränität bedeutet, dass die Daten dem Recht dieses Ortes unterliegen und von Parteien kontrolliert werden, die diesem Recht unterstehen. Ein von einem US-Unternehmen betriebener Dienst kann Datenresidenz in der EU anbieten und dennoch dem Zugriff durch US-amerikanische Rechtsverfahren unterliegen.
Brauche ich für souveräne KI eigene GPUs?
Nicht immer. Regionale API-Endpunkte oder souveräne Cloud-Regionen reichen für viele Workloads aus. Dedizierte GPUs im Inland sind sinnvoll, wenn Sie die volle Kontrolle über das Modell benötigen, alle Daten und den gesamten Betrieb lokal halten müssen oder ein gleichmäßiges Nutzungsvolumen haben, das den Cluster auslastet.
