Lokale Modelle haben aufgeholt. Das läuft wirklich auf deinem Schreibtisch.

Ein Kunde hat mich letzten Monat im Call gefragt, warum ich eigentlich noch ein Claude-Abo zahle, wenn "die offenen doch inzwischen genauso gut sind".

Ich habe mich rausgeredet. Irgendwas mit Benchmarks, die nicht die ganze Geschichte erzählen. Dann bin ich an meinen Schreibtisch zurück, habe die Zahlen ordentlich aufgemacht und gemerkt: Er hatte mehr recht als ich.

Open-Weight-Modelle haben aufgeholt. Nicht "fast". Nicht "für einfache Aufgaben". Der gemessene Abstand zwischen dem besten offenen Modell, das du dir kostenlos runterladen kannst, und dem besten geschlossenen Modell, das du mieten kannst, liegt bei vier Monaten. Vier Monate sind ein Abrechnungszyklus und ein bisschen. Und ein ordentlicher Teil dieser Leistung passt inzwischen auf eine Kiste unter deinem Schreibtisch.

Vier Monate, gemessen, nicht gefühlt

Epoch AI verfolgt das über einen echten Index statt über Meinungen. Seit Januar 2026 liegen die stärksten Open-Weight-Modelle im Schnitt vier Monate hinter den geschlossenen Frontier-Modellen, also 8 Punkte auf ihrem Epoch Capabilities Index. Acht ECI-Punkte sind ungefähr der Abstand zwischen GPT-5 und GPT-5.5. Eine halbe Generation.

Die Einzelwerte von Ende Mai 2026 erzählen es besser als der Durchschnitt. Kimi K2.6 bei 151,60, erschienen am 20. April. GLM-5.1 bei 149,94, 7. April. Qwen 3.6 Plus bei 149,08, 31. März. Dagegen: Gemini 3.5 Flash bei 156,31, Claude Opus 4.7 bei 156,18, GPT-5.5 Pro bei 159,35.

Eine Sache will ich ehrlich sagen, auch wenn sie gegen meine eigene Überschrift läuft. Diese vier Monate Abstand sind sogar etwas größer als die drei Monate, die Epoch von Januar 2023 bis Oktober 2025 gemessen hat. Das Aufholen ist nicht dieses Jahr passiert. Es ist über die drei Jahre davor passiert, und 2026 war bisher eher Seitwärtsbewegung.

Aber schau, wo diese Seitwärtsbewegung stattfindet. Vier Monate hinter Claude Opus 4.7 wäre 2024 noch Science-Fiction gewesen. Die Geschichte ist nicht, dass sich der Abstand dieses Quartal schließt. Die Geschichte ist, dass er längst geschlossen ist, auf eine Distanz, die für den größten Teil meiner echten Arbeit aufgehört hat, eine Rolle zu spielen.

Apache 2.0, 27 Milliarden Parameter, auf meinem Schreibtisch

Alibaba hat Qwen3.8-27B am 14. August 2026 veröffentlicht. Dense, mit Vision, 262.144 Token natives Context Window und lizenziert unter Apache 2.0. Keine eigengestrickte Community-Lizenz mit Umsatzklausel. Kein "Open Weights, es gelten unsere Bedingungen". Apache 2.0. Ich kann es für einen zahlenden Kunden laufen lassen, und niemand schreibt mir deswegen eine Mail.

Die Benchmark-Karte des Herstellers behauptet 61,7 auf SWE-bench Pro und 90,3 auf LiveCodeBench v6, was es bei agentischem Coding auf oder über Claude Opus 4.6 setzen würde. Ich glaube diese Zahl nicht, und du solltest es auch nicht, denn das ist Qwen, das Qwen benchmarkt. Eine unabhängige Bestätigung steht aus, während ich das schreibe.

Unabhängig belegt ist das Kleinere und Überzeugendere. In den ersten zwei Wochen hat das Modell den ersten Open-Weight-Platz auf Harveys Legal Agent Benchmark geholt, Platz 9 insgesamt auf dem WebDev-Leaderboard von Code Arena, und den ersten Open-Weight-Platz auf Arena.ais Image-to-WebDev-Board bei Rang 7 insgesamt. Platz neun insgesamt, auf einem Leaderboard, dessen Top acht Modelle sind, die ich miete, von einer Datei, die ich runtergeladen habe.

Zwei Dinge sollte man trennen, weil sie ständig durcheinandergehen: Qwen3.8-27B ist das Apache-2.0-Modell, das du wirklich selbst laufen lassen kannst. Qwen3.8-Max ist ein 2,4-Billionen-Parameter-Flaggschiff mit eigenen Sonderbedingungen, ausgeliefert aus dem Cluster von jemand anderem. Nur eins von beiden gehört dir.

Sechs bis zwölf Monate, bis es zu Hause läuft

Die Zahl, die mich mehr interessiert als der Frontier-Abstand, ist die andere von Epoch: Modelle, die klein genug für eine einzelne Consumer-GPU sind, also grob 28B Parameter für eine RTX 4090 oder 40B für eine 5090, erreichen Frontier-Niveau mit sechs bis zwölf Monaten Verzögerung, quer über GPQA Diamond, MMLU-Pro und LMArena.

Das Muster lautet also: Was das teure Modell heute kann, kann etwas auf deinem Schreibtisch ungefähr nächsten Sommer. Das ist kein Versprechen über die Zukunft. Das ist ein gemessenes Muster, das sich schon mehrfach wiederholt hat, und deshalb behandle ich mein lokales Setup nicht mehr als Spielzeug.

Was 32 GB und 64 GB wirklich bringen

Und hier gehen Marketing und mein Aktivitätsanzeige-Fenster getrennte Wege.

Qwen3.8-27B will bei BF16 rund 56 GB für die Gewichte, plus etwa 16 GB KV-Cache bei vollem Context. Das ist eine gemietete H100, kein Laptop. Bei FP8 fällt es auf etwa 28 GB. Bei 4 Bit landet es je nach Build bei 14 bis 19 GB, und das ist die Zahl, die zählt, denn bei 4 Bit wird ein Mac zur echten Option.

Auf einem 32-GB-Mac bekommst du den 4-Bit-Build mit Platz für ein 128K-Context-Window und sonst nichts. Mit 64 GB bekommst du den 6-Bit-Build bei 21 bis 22 GB und hörst auf, Kompromisse zu machen. Unter 24 GB lass es.

Bei der Geschwindigkeit widersprechen sich die Quellen ernsthaft, und ich zeige dir lieber den Widerspruch, als mir die schmeichelhafte Zahl auszusuchen. Ein Erfahrungsbericht mit dem MLX-4-Bit-Build auf einem M4 Mac mini mit 32 GB nennt 5 bis 6 Tokens pro Sekunde. Ein gemessenes Benchmark-Repo auf einem Mac Studio M4 Max nennt 48 bis 65 Tokens pro Sekunde mit einem optimierten MLX-Rezept und nativer Multi-Token-Prediction. Das ist Faktor zehn, und keiner von beiden lügt. Es ist Speicherbandbreite plus die Frage, wie viel Arbeit in das Inferenz-Rezept geflossen ist. Ein Basis-M4 und ein M4 Max sind nicht dieselbe Maschine mit anderem Aufkleber.

Meine ehrliche Einschätzung: Auf Basis-Apple-Silicon rechne mit einstelligen Tokens pro Sekunde und plane entsprechend. Auf einem Max oder Ultra mit echter Bandbreite bekommst du etwas, mit dem du dich unterhalten kannst. Das komplette Setup, Claude Code auf ein lokales Modell zu richten, habe ich in Ollama, MLX und ein lokaler Coding-Agent durchgespielt, und der Durchsatz war dort der ganze Unterschied zwischen "nettes Demo" und "benutze ich täglich".

Es ist längst nicht mehr ein Modell, es ist ein Feld

Am meisten hat sich verändert, dass es kein einzelnes offenes Modell mehr gibt, für das man die Daumen drückt.

Im Artificial Analysis Intelligence Index v4.0 führt Kimi K2.6 die Open Weights mit 54 an, DeepSeek V4 Pro mit 52, GLM-5.1 mit 51. DeepSeek V4 Pro fährt 1,6 Billionen Gesamtparameter mit 49 Milliarden aktiven und MIT-lizenzierten Gewichten, dazu eine V4-Flash-Variante mit 284B gesamt und 13B aktiv, die deutlich realistischer selbst zu hosten ist. OpenAIs gpt-oss-120b und gpt-oss-20b stehen unter Apache 2.0 und wurden mit einem Chat-Schema gebaut, das um Tool Calls herum entworfen ist, was man merkt. Googles Gemma 4 kam im April 2026, ebenfalls Apache 2.0, als dichtes 31B und als 26B Mixture-of-Experts.

Fünf ernstzunehmende Labs, die im rollierenden Takt herunterladbare Gewichte veröffentlichen. Wenn eines davon ein Quartal lang hinterherhängt, tut es ein anderes nicht. Das ist eine viel haltbarere Lage als ein einzelnes gutes Release.

Wo sie trotzdem verlieren, denn das tun sie

Ich tue nicht so, als würde das lokale Modell alles schaffen, denn das tut es nicht, und ich weiß ziemlich genau, wo es aufhört.

Eine Frage, alles Nötige steht im Prompt, eine Antwort zurück: Lokal gewinnt bei der Bequemlichkeit und verliert nichts, was ich spüre. Dinge in einer Datei umbenennen, ein Zod-Schema aus einer Directus-Collection schreiben, eine Regex erklären, einen JSON-Blob in ein TypeScript-Interface gießen, eine Kundenmail auf drei Aufgaben eindampfen. Sitzt alles.

Dreißig Tool Calls tief in einer echten Codebasis ist ein anderes Tier. Ich habe es gebeten, herauszufinden, warum ein Formular-Submit in einer Next.js-App über vier Dateien hinweg still scheitert. Die ersten zwei hat es sauber gelesen. Irgendwo beim fünften oder sechsten Tool Call hat es angefangen, selbstbewusst eine Datei zu editieren, die es im Projekt gar nicht gibt, mit einem plausibel aussehenden Diff auf eine Funktion, die nie existiert hat.

Das ist kein Rätsel, das ist die bekannte Fehlerform. Die Klempnerei ist es, wo offene Modelle hinterherhinken, mehr als die Intelligenz: fehlerhafte Tool-Argumente, der Griff zum falschen Tool, einen Fehler zurückbekommen und denselben Call endlos wiederholen. Ich habe einem Lauf zugesehen, der elf Minuten in dieser Schleife verbrannt hat. Die allgemeine Version davon habe ich in den Fehlern, die KI-Coding-Agents immer wieder machen aufgeschrieben, und lokale Modelle machen sie härter und früher.

Ich muss auch zugeben, dass ich meine eigene Konfiguration nicht ausgeschlossen habe. Engere Tool-Schemas und weniger Context pro Schritt könnten die Hälfte davon beheben. Diese Arbeit habe ich noch nicht ordentlich gemacht.

Wie ich es heute aufteile, und warum es nicht ums Geld geht

Alle rahmen lokale Modelle als Kostenthema. Diese Rechnung habe ich schon gemacht, und der Break-even beim Hardwarekauf liegt weiter weg, als die meisten hören wollen, besonders wenn deine Nutzung unregelmäßig ist.

Der Grund, warum ich das lokale Setup behalte, ist langweiliger und wertvoller. Ich bin eine deutsche Agentur mit US-Kunden, und manche dieser Verträge machen mich dafür verantwortlich, wo ihre Daten hingehen, im Sinne von "liste deine Subunternehmer auf". Wenn ein Kunde mir eine CSV mit Kundendatensätzen schickt, damit ich einen Import debugge, ist das lokale Modell die einzige Antwort, die keinen AV-Vertrag und keinen Absatz Erklärung braucht. Es verlässt die Maschine nicht.

Also: One-Shot-Arbeit läuft lokal. Alles, was vertrauliche Kundendaten berührt, läuft lokal, egal wie schwer es ist, und wenn es dem lokalen Modell zu schwer fällt, mache ich es von Hand. Lange agentische Läufe quer durch eine echte Codebasis laufen gehostet. Das sind bei mir inzwischen etwa 60 Prozent lokal, gegen null vor einem Jahr.

Genauso habe ich entschieden, als ich bei Opus 4.6 geblieben bin, während alle den neueren Releases hinterhergejagt sind, und die Lehre ist dieselbe: pro Aufgabe wählen, nicht pro Hype-Zyklus. Wenn du das größere Bild willst, was meine Ein-Personen-Agentur tatsächlich am Laufen hält: Die meisten KI-Tools, die meine Agentur wirklich tragen, haben nichts damit zu tun, welches Modell dieses Quartal vorne liegt.

Lade dir Qwen3.8-27B runter, oder was auch immer das Äquivalent ist, wenn du das hier liest. Lass es eine Woche an deiner echten Arbeit laufen. Die Überraschung ist nicht, dass es irgendwo scheitert. Die Überraschung ist, wie weit du kommst, bevor es das tut.

Ich kann dir nicht sagen, welches Modell auf deiner Hardware laufen sollte. Was ich tun kann: mir deinen tatsächlichen Workflow ansehen und herausarbeiten, welche Teile wirklich eine Frontier-API brauchen und welche du aus Gewohnheit bezahlst. Lass uns reden, wenn das nützlich klingt.