Die Daten deines Kunden dürfen Deutschland nicht verlassen. Hier ist der KI-Stack, der wirklich funktioniert.

Der Satz, der in einem deutschen Büro die meisten KI-Gespräche beendet, ist kurz: "Das darf hier nicht raus."

Diese Daten dürfen nicht raus. Nicht aus dem Gebäude, manchmal nicht aus dem Land. Und die Person, die das sagt, hat meistens recht, und das unterschätzen Leute. Ich habe in Räumen mit einer Steuerkanzlei gesessen, mit einer Arztpraxis, mit einem Versicherungsmakler, und das Gespräch kommt immer an derselben Wand an. Sie wollen die Produktivität. Sie haben die Demos gesehen. Sie haben auch eine rechtliche Pflicht, die ein US-API-Endpunkt still bricht.

Dieser Beitrag ist die andere Hälfte des Gesprächs. The 5 Questions to Ask an "EU-Compliant" AI Vendor Before You Sign handelt davon, das Produkt eines anderen zu prüfen. Dieser handelt davon, was du baust, wenn die Antwort auf diese Fragen nein lautet. Ein DSGVO-konformes lokales KI-Setup ist nicht eine Sache, es sind vier Stufen mit sehr unterschiedlichen Preisschildern, und die meisten wählen die falsche, weil sie nur auf die rechtliche oder nur auf die Hardware-Seite geschaut haben.

Ich bin kein Anwalt, und dieser Beitrag ist keine Rechtsberatung

Ich sage das einmal klar und höre dann auf, jeden Satz abzusichern.

Ich baue Systeme. Ich lese die Vorschriften, weil ich Projekte darum herum zuschneiden muss, und ich habe viele Stunden mit den echten Anwälten von Kunden verbracht. Aber ich erteile keine Rechtsberatung, und nichts hier unten ersetzt ein Gespräch mit einem Fachanwalt für IT-Recht oder deiner Kammer. Was ich dir sagen kann, ist, welche technischen Entscheidungen die Juristen immer wieder markieren, denn ich habe dieselben drei Flaggen wieder und wieder aufgehen sehen.

Nützlich ist zu verstehen, dass du es nicht mit einem Regelwerk zu tun hast. Du hast es mit dreien zu tun, und sie versagen unterschiedlich. Die DSGVO regelt personenbezogene Daten und Auftragsverarbeitungsverhältnisse. Die EU-KI-Verordnung regelt das System selbst. Und das deutsche Berufsgeheimnis, § 203 StGB, regelt, ob eine bestimmte Person den Inhalt überhaupt sehen darf, personenbezogen oder nicht. Das sind nicht dieselben Prüfungen, und eine zu bestehen bedeutet nicht, die anderen zu bestehen.

Der Blocker ist meistens nicht die DSGVO. Es ist § 203 StGB.

Und hier ist der Teil, der Leute überrascht. Für eine Kanzlei, einen Steuerberater, einen Arzt oder einen Notar ist die DSGVO oft die leichtere Hürde.

Nach der DSGVO unterschreibst du einen Auftragsverarbeitungsvertrag nach Artikel 28, und wenn die Bedingungen des Anbieters ehrlich sind, bist du damit weit in Richtung vertretbar. § 203 StGB ist Strafrecht und funktioniert anders. Ein Mandantengeheimnis einem unbefugten Dritten zu offenbaren ist eine Straftat des Berufsträgers, kein Bußgeld für das Unternehmen. Die Reform des § 203 im Jahr 2017 hat Raum für "sonstige mitwirkende Personen" geschaffen, und genau das erlaubt einer Kanzlei überhaupt erst, einen externen IT-Dienstleister zu nutzen. Aber dieser Raum hat Bedingungen: Die Einbindung des Dienstleisters muss für die ordnungsgemäße Berufsausübung wirklich erforderlich sein, der Dienstleister muss in Textform zur Verschwiegenheit verpflichtet und über die strafrechtlichen Folgen eines Bruchs belehrt werden, und der Berufsträger muss ihn sorgfältig auswählen und beaufsichtigen.

Lies diese Liste noch mal und denk an eine Selbstbedienungs-API-Anmeldung mit einer Klick-Bestätigung. Das ist die Diskrepanz. Ein AVV allein erfüllt § 203 nicht. Deswegen kann der Compliance-Verantwortliche einer Kanzlei mit einer DSGVO-Analyse völlig zufrieden sein und trotzdem nein sagen. Und deswegen zählt die technische Architektur so sehr: Je weniger Parteien den Inhalt theoretisch lesen können, desto kürzer wird dieses ganze Gespräch.

Eine EU-Region ist nicht dasselbe wie EU-Daten

Im Juli 2025 hat die Leiterin für öffentliche und rechtliche Angelegenheiten bei Microsoft Frankreich einer Untersuchung des französischen Senats unter Eid gesagt, dass Microsoft nicht garantieren könne, dass Daten des französischen öffentlichen Sektors auf ihrer Infrastruktur ohne Zustimmung des Kunden vor US-Behörden geschützt seien. Nicht "wir würden uns wehren". Kann nicht garantieren.

Das ist die klarste Formulierung des Problems, die ich gesehen habe, und sie kam vom Anbieter. Der US CLOUD Act greift auf Daten zu, die von US-kontrollierten Anbietern gehalten werden, egal wo die Server physisch stehen. Die Region Frankfurt zu wählen ändert nichts daran, wer das Unternehmen kontrolliert. Stand Ende 2026 hat kein Gesetz diese extraterritoriale Reichweite aufgehoben.

Das EU-US Data Privacy Framework ist eine eigene Frage, und es steht derzeit. Das Gericht der Europäischen Union hat die Klage von Philippe Latombe im September 2025 abgewiesen und den Angemessenheitsbeschluss bestätigt, aber nur auf Basis der Tatsachenlage von 2023 und ausdrücklich ohne alles Spätere zu betrachten. Das Rechtsmittel liegt als Rechtssache C-703/25 P beim Gerichtshof. Übermittlungen unter dem DPF sind heute also rechtmäßig. Wenn der Risikohorizont deines Kunden länger ist als bis zum nächsten Gerichtstermin, lohnt es sich, das laut zu sagen, statt so zu tun, als sei die Frage geklärt. Über ein verwandtes deutsches Urteil habe ich in Google's AI Overview Can Now Lie About Your Business geschrieben, und das Muster ist dasselbe: Deutsche Gerichte sind bereit, die Haftung dorthin zu legen, wo der Anbieter sie nicht erwartet hat.

Für einen Berufsgeheimnisträger ist das ohnehin nicht der Punkt. Selbst eine vollkommen rechtmäßige Übermittlung ist trotzdem eine Offenbarung gegenüber einer anderen Partei. Die Frage nach § 203 interessiert nicht, dass der Übermittlungsmechanismus gültig ist.

Die vier Stufen und was jede dich tatsächlich kostet

Stufe eins: vollständig lokal, auf der eigenen Hardware des Kunden. Das meinen die meisten, wenn sie von DSGVO-konformer lokaler KI sprechen. Nichts verlässt das Gebäude. Das ist die einzige Stufe, auf der das § 203-Gespräch im Grunde verschwindet, weil es keine dritte Partei gibt, der gegenüber offenbart wird. Es ist auch die Stufe, auf der du jedes Betriebsproblem erbst: Backups, Updates, jemand, den man um 7 Uhr anrufen kann. Die Kosten sind Kapital plus deine Zeit, für immer.

Stufe zwei: EU-gehostete Inferenz mit offenen Gewichten. Ein europäisches Unternehmen betreibt offene Modelle in europäischen Rechenzentren und gibt dir eine API. Dieser Markt ist 2026 echt geworden. Scaleway liefert offene Gewichte aus französischen und anderen europäischen Rechenzentren. IONOS betreibt einen in Deutschland gehosteten Model Hub. OVHclouds AI Endpoints bieten eine API ohne Speicherung über ein paar Dutzend offene Modelle. Nebius, Mistral und ein langer Schwanz kleinerer EU-Anbieter sitzen im selben Raum. Diese Stufe ist wirklich nützlich und im Betrieb viel billiger als Stufe eins. Aber du bist wieder bei einer dritten Partei, was einen AVV bedeutet, eine Verschwiegenheitsverpflichtung nach § 203 in Textform und einen harten Blick auf Speicher- und Trainingsbedingungen.

Stufe drei: die EU-Region eines US-Hyperscalers. Das haben die meisten Kunden schon, und es ist die Stufe, die genau die Prüfung nicht besteht, die sie zu bestehen scheint. Für viele interne Geschäftsdaten ist sie in Ordnung. Für Inhalte unter Berufsgeheimnis ist es die Diskussion, die du nicht führen willst.

Stufe vier: hybrid, bei der nur die sensiblen Felder lokal bleiben. In der Praxis ist das oft die richtige Antwort, und fast niemand schlägt sie vor, weil sie mehr Arbeit ist. Du betreibst ein kleines lokales Modell, das Namen, Aktenzeichen, Steuernummern und Diagnosen erkennt und entfernt oder tokenisiert, schickst den de-identifizierten Rest irgendwohin, wo es besser und schneller ist, und setzt lokal wieder ein. Das ist echte Ingenieursarbeit, und der De-Identifikationsschritt wird zu dem, worin du richtig liegen musst. Aber es erlaubt einem kleinen Büro Entwürfe auf Frontier-Niveau bei Inhalten, deren identifizierende Teile nie rausgegangen sind.

Was die KI-Verordnung Ende 2026 tatsächlich von einem kleinen Betreiber verlangt

Nimm den Zeitplan der KI-Verordnung von niemandem aus dem Gedächtnis, meinem beim ersten Entwurf dieses Textes eingeschlossen. Er hat sich verschoben.

Der Digital Omnibus zu KI wurde am 24. Juli 2026 im Amtsblatt veröffentlicht und ist am 27. Juli 2026 in Kraft getreten, sechs Tage vor der ursprünglichen Hochrisiko-Frist der KI-Verordnung. Er hat die Hochrisiko-Pflichten für eigenständige Systeme nach Anhang III auf den 2. Dezember 2027 verschoben und für in regulierte Produkte eingebettete KI nach Anhang I auf den 2. August 2028. Das, worauf sich alle für August 2026 gefasst gemacht haben, ist also größtenteils nicht im August 2026 gelandet.

Was sich nicht verschoben hat, zählt für ein kleines Büro mehr. Die Transparenzpflichten nach Artikel 50 gelten seit dem 2. August 2026. Die KI-Kompetenzpflicht nach Artikel 4 gilt seit Februar 2025; der Omnibus hat den Wortlaut von "sicherstellen, dass ein ausreichendes Niveau besteht" zu "Maßnahmen zur Förderung ergreifen" abgemildert, aber sie bindet weiterhin jeden Betreiber, mit nationaler Aufsicht ab dem 3. August 2026. Die verbotenen Praktiken nach Artikel 5 gelten seit Februar 2025.

Und hier ist die Einordnung, die Kunden Geld spart: Eine Kanzlei, die ein offenes Modell auf eigener Hardware betreibt, um eigene Akten zusammenzufassen, ist fast immer Betreiber und nicht Anbieter. Betreiberpflichten sind deutlich leichter. In dem Moment, in dem du ein Modell feinabstimmst und es als Produkt vor die Mandanten anderer Leute stellst, ändert sich das. Der Großteil der Panik, zu der ich befragt werde, sind Leute, die Anbieterpflichten lesen und annehmen, sie gälten für sie.

Was eine Kanzlei realistisch betreiben kann

Die grobe Dimensionierungsregel, die sich für mich gehalten hat: Bei 4-Bit-Quantisierung rechne mit rund 0,5 bis 0,6 GB Speicher pro Milliarde Parameter und leg dann weitere 20 bis 30 Prozent für Kontext und Overhead drauf. Das ist die Rechnung, kein Benchmark, und sie sagt dir das meiste, was du wissen musst, bevor du irgendetwas kaufst.

Einzelrechner auf dem Schreibtisch: eine Workstation mit einer GPU von 24 bis 32 GB oder ein Mac mit 32 bis 64 GB Unified Memory betreibt ein mittelgroßes offenes Modell komfortabel. Qwen3s kleinere und Mixture-of-Experts-Varianten und Mistrals kleine Modelle liegen in dieser Klasse, ebenso OpenAIs gpt-oss-20b, das in rund 16 GB passt. Die Lizenzierung ist bei den meisten davon freizügig, was für kommerziellen Einsatz zählt. Diese Maschine bedient einen oder zwei intensive Nutzer oder eine Handvoll leichte.

Server: gpt-oss-120b braucht etwas in der 80-GB-Klasse. Das ist kein Schreibtischrechner, das ist eine Kiste im Rack mit Wartungsvertrag. Für eine Kanzlei mit fünf Leuten ist das meistens der Punkt, an dem das Projekt gegenüber Stufe zwei finanziell keinen Sinn mehr ergibt.

Die tatsächliche Break-even-Rechnung habe ich in When Does Buying Hardware for Local LLMs Actually Pay Off? gemacht, und zu den Fähigkeiten im Detail behandelt Local Models Caught Up, was heute auf einem Schreibtisch läuft. Die Kurzfassung für diesen Zusammenhang: Das Modell ist kaum noch die Beschränkung. Gleichzeitigkeit ist es.

Die Aufgaben, die funktionieren, und die, die es nicht tun

Fünf Dinge funktionieren gut genug, um sie zu bauen, und sie sind alle unspektakulär.

Dokumentenklassifikation, also eingehende Post in die richtige Akte und den richtigen Typ sortieren. Extraktion aus gescannter Korrespondenz, also Daten, Beträge, Aktenzeichen in einen strukturierten Datensatz ziehen. Standardbriefe aus einer Vorlage plus Akte entwerfen, wobei ein Mensch unterschreibt. Eine lange Akte vor einem Termin zusammenfassen. Und interne Suche über das Dokumentenarchiv, und das ist die, die die ehrlichste Begeisterung erzeugt, denn jeder hat schon mal ein Dokument verloren.

Was nicht funktioniert: alles, wo die Ausgabe ungeprüft rausgeht, alles, was aktuelles Recht statt des Akteninhalts erfordert, und alles mit einer Zahl darin, die niemand nachprüft. Ein lokales Modell ist ein schneller, unermüdlicher, mäßig schludriger Berufsanfänger. Setz es entsprechend ein. Wenn du noch klärst, ob du dafür überhaupt externe Hilfe brauchst, ist Do You Actually Need an AI Consultant? die ehrliche Version.

An OCR und Retrieval sterben diese Projekte tatsächlich

Mich hat noch nie jemand angerufen, weil das Sprachmodell enttäuscht hat. Sie rufen an, weil die Scans schlecht sind.

Deutsche Büroarchive sind voll von Dokumenten, die OCR hasst: Faxe, schiefe Scans, Stempel über Text, handschriftliche Randnotizen, älteres Material in Fraktur. Bei sauberem Drucktext ist eine klassische Engine wie Tesseract weiterhin konkurrenzfähig und enorm viel billiger. Bei Handschrift, schlechten Fotos und layoutlastigen Seiten gewinnen Vision-Modelle deutlich. Das Design, das tatsächlich funktioniert, ist keines von beidem allein: Lass die billige Engine laufen, behalte ihre Konfidenzwerte, und schick nur die Seiten, bei denen sie unsicher ist, an das Vision-Modell. Billiger, als wenn ein Mensch alles prüft, besser als die billige Engine allein.

Dann ist da die Dateiablage. Zwölf Jahre Schreiben_final_v3_NEU.docx in Ordnern, die nach Leuten benannt sind, die längst weg sind. Retrieval darüber ist kein Vektordatenbank-Problem, es ist ein Metadaten-Problem, und die ehrliche Antwort beim Zuschnitt lautet, dass das Aufräumen ein echter Posten ist. Wenn du das überspringst, holt das System selbstbewusst die Version des Briefs von 2019.

Die Frage, die niemand vor Monat vierzehn stellt

Wer patcht das, wenn ich nicht da bin?

Ein lokaler Stack ist Infrastruktur. Er braucht Betriebssystem-Updates, Modell-Updates, Backups, die getestet werden, und einen Menschen, der versteht, warum der Retrieval-Index veraltet ist. In einem Fünf-Personen-Büro ist dieser Mensch meistens der eine Partner, der gut mit Computern kann, und wenn der geht, verrottet das Ding leise, bis es anfängt, falsche Antworten zu geben, die richtig aussehen.

Deswegen stelle ich diese Frage inzwischen im ersten Gespräch, vor der Hardware. Ein DSGVO-konformes lokales KI-Setup ist eine Wartungsverpflichtung, kein Kauf. Wenn es keine ehrliche Antwort gibt, ändert sich die Empfehlung: Stufe zwei mit einem gemanagten EU-Anbieter und einem ordentlichen Vertrag schlägt eine schöne lokale Kiste, hinter der niemand steht. Ein etwas weniger privates System, das gewartet wird, ist sicherer als ein maximal privates System, das sechs Monate veraltet ist.

Das ist ehrlich die ganze Entscheidung. Nicht welches Modell. Nicht welche GPU. Wem es an einem Dienstag in achtzehn Monaten gehört.

Wenn du das für einen deutschen oder europäischen Kunden durcharbeitest und jemanden willst, der die Architektur vor der Hardware-Rechnung auf Plausibilität prüft: Genau diesen Zuschnitt mache ich. Bring deinen Anwalt zum selben Termin mit. Es geht schneller, wenn alle im Raum sind.