Du Hast die KI-Bots Blockiert. Jetzt Kann ChatGPT Dich Nicht Zitieren.

Vor ein paar Monaten habe ich einen Beitrag geschrieben, in dem ich dir geraten habe, die KI-Bots zu blockieren. Sie haben Server gehämmert, Bandbreite gefressen und nichts zurückgegeben. Zum größten Teil stehe ich noch dazu.

Aber ich habe einen Teil weggelassen. Und genau der fängt jetzt an, Leute Geld zu kosten.

Hier ist das, was mir niemand gesagt hat, als ich auf meinem "alles blockieren"-Kreuzzug war: Manche dieser Bots sind der Grund, warum ChatGPT und Perplexity dein Unternehmen überhaupt erwähnen können. Blockierst du sie alle mit einem wütenden Copy-Paste, sparst du nicht nur Bandbreite. Du löschst dich still und leise aus den Antworten, die deine Kunden inzwischen statt Google lesen. Wenn mich also jemand fragt "soll ich KI-Crawler erlauben oder nicht", lautet die ehrliche Antwort: Kommt drauf an, welche, und kaum jemand erklärt den Unterschied.

Lass mich das korrigieren.

Ich Habe Dir Gesagt, Blockier die KI-Bots. Hier ist der Teil, den ich Ausgelassen Habe.

Mein früherer Rat hält immer noch stand: KI-Bots crawlen deine Website zu Tode. So stoppst du sie. hat das eigentliche Problem beschrieben. Training-Crawler haben Tausende Requests erzeugt, die Serverlast hochgetrieben und keinen einzigen Menschen zurück auf die Seite geschickt.

Was ich als einen großen Schwarm "KI-Bots" behandelt habe, sind in Wirklichkeit zwei völlig verschiedene Jobs im selben Mantel. Und die robots.txt-Regel, die deine Bandbreite vor dem einen schützt, kann dich für den anderen unsichtbar machen.

Das ist der Fehler. Ich habe sie in einen Topf geworfen. Genau wie die meisten Ratschläge, die du gelesen hast. Die Lösung ist nicht "alles erlauben" oder "alles blockieren". Es geht darum, zu wissen, welcher Bot was tut.

Die Eine Unterscheidung, die Alles Verändert: Training vs. Retrieval

Es gibt zwei Arten von KI-Crawlern, und sie wollen völlig Unterschiedliches von deiner Seite.

Training-Crawler scrapen deine Inhalte, um sie in einen Datensatz zu stopfen. Sie bauen das Modell. Sie verlinken nicht zurück, sie schicken keinen Traffic, sie nehmen nur. GPTBot, ClaudeBot, Google-Extended, CCBot und Bytespider gehören alle hierher. Das ist die Gruppe, die meine ganze Tirade gerechtfertigt hat. Sie zu blockieren kostet dich praktisch keine Sichtbarkeit.

Retrieval-Crawler sind das Gegenteil. Sie holen deine Seite, damit eine KI eine Live-Frage beantworten und dich genau jetzt zitieren kann. OpenAIs OAI-SearchBot, Anthropics Claude-SearchBot und PerplexityBot indexieren dich für die KI-Suche. ChatGPT-User und Claude-User holen deine Seite in Echtzeit, wenn jemand eine Frage stellt, die dein Thema berührt. Das ist die Gruppe, die deinen Namen in die Antwort bringt. So wirst du überhaupt erst von ChatGPT zitiert.

Blockiere den Training-Crawler und du bleibst voll zitierbar, solange du den Retrieval-Crawler durchlässt. Dieser eine Satz ist der ganze Beitrag. Alles andere sind nur Details.

Die Bot-für-Bot-Tabelle: Was Jeder Einzelne Wirklich Tut

Hör auf, vom Namen des User-Agents zu raten. Hier ist, wofür jeder wichtige Crawler da ist und was es dich kostet, ihn zu blockieren.

Bot	Firma	Job	Blockierst du ihn...
GPTBot	OpenAI	Training	bleibt dein Inhalt aus dem Modelltraining. Kein Sichtbarkeitsverlust.
OAI-SearchBot	OpenAI	Search Index	kannst du aus der ChatGPT-Suche verschwinden.
ChatGPT-User	OpenAI	Live-Fetch	verlierst du Live-Zitate (kann den Block aber ignorieren).
ClaudeBot	Anthropic	Training	aus dem Training ausgeschlossen. Kein Sichtbarkeitsverlust.
Claude-SearchBot	Anthropic	Search Index	schadest du deiner Sichtbarkeit in der Claude-Suche.
Claude-User	Anthropic	Live-Fetch	fällst du aus Live-Antworten von Claude raus.
PerplexityBot	Perplexity	Index	weniger Sichtbarkeit in Perplexity (falls der Block respektiert wird).
Googlebot	Google	Search Index	verschwindest du komplett aus Google. Niemals blockieren.
Google-Extended	Google	Training-Token	nur Opt-out aus Gemini-Training. Ranking unberührt.
Bingbot	Microsoft	Search Index	verlierst du Bing und Microsoft Copilot.
Bytespider	ByteDance	Training	aus TikToks Modell ausgeschlossen. Aggressiv, ignoriert oft Regeln.
CCBot	Common Crawl	Training	Datensatz, der viele LLMs indirekt speist.

Das Muster springt ins Auge, sobald du es so aufgelistet siehst. Die "Training"-Zeilen kannst du gefahrlos blockieren. Die "Search Index"- und "Live-Fetch"-Zeilen entscheiden, ob eine KI dich empfehlen kann.

Die Google-Falle, die Niemand Erklärt: Google-Extended ist Nicht Googlebot

Hier geraten Leute in Panik und schießen sich ins eigene Bein.

Google-Extended ist kein Crawler. Es ist ein Steuerungs-Token, das deine Inhalte aus Geminis Training ausschließt. Es zu blockieren berührt dein Google-Ranking nicht und holt dich auch nicht aus den AI Overviews. Die laufen über den normalen Googlebot-Index, nicht über Google-Extended. Ich habe das in Googles eigener KI-SEO-Anleitung auseinandergenommen, und die Erkenntnis ist langweilig, aber wichtig: Der normale Index macht weiterhin die Hauptarbeit.

Du kannst Google-Extended also blockieren, um dein Zeug aus dem Gemini-Training rauszuhalten, und verlierst nichts in der Suche. Was du niemals blockieren darfst, ist Googlebot. Tu das, und du bist weg aus Google, AI Overviews inklusive. Es gibt keinen cleveren Umweg. Der einzige "Opt-out aus AI Overviews"-Hebel ist das nosnippet-Tag, das auch deine normalen Such-Snippets killt. Dieser Tausch lohnt sich fast nie.

Halten Sich KI-Bots Überhaupt an robots.txt? (Meistens ja, eine große Ausnahme)

Hier ist der unangenehme Teil: robots.txt ist eine höfliche Bitte, keine verschlossene Tür.

OpenAI, Anthropic und Google halten sich daran. Blockier GPTBot und GPTBot bleibt draußen. Gut. Aber im August 2025 hat Cloudflare Perplexity erwischt, wie es robots.txt komplett ignoriert hat. Als der deklarierte Bot blockiert wurde, kam der Traffic weiter über rotierende IP-Adressen, die einen normalen Chrome-Browser auf einem Mac vortäuschten. Cloudflare hat Perplexity deswegen als verifizierten Bot entfernt. Perplexitys Verteidigung war im Kern: "Ein Agent, der für einen Nutzer handelt, ist kein Bot und muss sich nicht an robots.txt halten."

Es gibt noch eine zweite Feinheit. Die Live-Fetch-Bots, ChatGPT-User und Perplexity-User, werden von einem echten Menschen ausgelöst, der eine Frage stellt. OpenAI sagt in seiner eigenen Doku, dass ChatGPT-User robots.txt umgehen kann, weil es als Nutzeraktion zählt, nicht als automatisiertes Crawling. "Erlauben" dieser beiden in robots.txt ist also teils symbolisch. Der echte Hebel, um zitierbar zu bleiben, ist das Erlauben der Search-Index-Bots: OAI-SearchBot, Claude-SearchBot und PerplexityBot. Die entscheiden tatsächlich, ob du auftauchst.

Die Echten Kosten: Was Crawl-to-Refer-Verhältnisse Verraten

Wenn du eine Zahl willst, um das Blockieren der Training-Bots zu rechtfertigen, hier ist sie.

Laut Cloudflares Daten von Anfang 2026 hat ClaudeBot rund 24.000 Seiten gecrawlt für jeden einzelnen Besucher, den es zurückgeschickt hat. GPTBot lag bei etwa 1.276 zu 1. Vergleich das mit DuckDuckGo bei rund 1,5 zu 1. Die Training-Crawler nehmen enorm viel und schicken fast niemanden zurück. Das ist das ehrliche Argument fürs Blockieren.

Aber der Trend auf der anderen Seite ist genauso real. KI-Bot-Traffic ist seit Anfang 2025 um mehr als 300% gestiegen. Adobe berichtete, dass KI-vermittelter Traffic zu US-Händlern Anfang 2026 um 393% im Jahresvergleich gesprungen ist, und diese Besucher kaufen tendenziell. Die Retrieval-Seite wird zu echtem Traffic, nicht zu einem Rundungsfehler. Wenn du sehen willst, wie das auf deiner eigenen Seite aussieht, schlüsselt die Google Search Console jetzt KI-Traffic auf, damit du nicht mehr raten musst.

Die Rechnung ist also einfach. Blockier die Nehmer. Behalt die, die Leute schicken.

Copy-Paste robots.txt: Drei Setups

Genug Theorie. Hier sind drei Configs, die du tatsächlich nutzen kannst.

Setup A: Lass die KI mich zitieren, aber nicht trainieren. Das ist meine Standardempfehlung für die meisten Seiten.

# Training-Crawler blockieren
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: meta-externalagent
Disallow: /

# Retrieval und Live-Zitate erlauben
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /

Setup B: Alles blockieren. Maximale Bandbreitenersparnis, und du akzeptierst, in der KI-Suche unsichtbar zu sein. Nutz den Training-Block oben plus ein Disallow: / auch für die Retrieval-Bots. Mach das nur, wenn dir KI-Empfehlungen wirklich egal sind.

Setup C: Nur Retrieval. Das ist einfach Setup A. Es ist die Haltung, die du willst, wenn dein Ziel Sichtbarkeit ist, nicht der Schutz von Trainingsdaten.

Eine Regel überschreibt alle drei: Blockier niemals Googlebot oder Bingbot. Das killt die normale Suche, AI Overviews und Copilot in einem Zug.

So Prüfst du, Wer Dich Wirklich Besucht

Vertrau dem User-Agent-String nicht allein, denn genau Spoofing hat Perplexity in Schwierigkeiten gebracht.

Grep deine Server-Logs nach den User-Agent-Namen von oben. Dann gleich sie mit den veröffentlichten IP-Bereichen ab, die jede Firma rausgibt, etwa OpenAIs gptbot.json- und searchbot.json-Dateien. Ein Request, der behauptet, GPTBot zu sein, aber von einer IP kommt, die nicht auf OpenAIs Liste steht, ist ein Spoofer, und den kannst du ohne schlechtes Gewissen blockieren. So vermeidest du auch den umgekehrten Fehler: einen Fake-Bot auf die Whitelist zu setzen. Wenn du jemals auf eine Flut seltsamer Requests in deinem Error-Tracker gestarrt hast, kennst du das Gefühl. Ich habe über so eine Nacht in dem Beitrag über Sentry-Fehler durch Bot-Crawler geschrieben. Logs sagen die Wahrheit, die Header verschweigen.

Cloudflare Hat die Standardeinstellung Geändert (und du Blockierst Vielleicht Alles, Ohne es zu Wissen)

Hier ist die Sache, die Leute völlig kalt erwischt.

Seit Juli 2025 blockiert Cloudflare KI-Crawler bei neuen Domains standardmäßig. Über eine Million Seiten haben den Ein-Klick-Block aktiviert. Cloudflare sitzt vor rund einem Fünftel des gesamten Webs. Das heißt, eine riesige Zahl an Seitenbetreibern blockiert jeden KI-Bot, Retrieval inklusive, und hat keine Ahnung davon. Sie haben nie eine robots.txt bearbeitet. Die Einstellung war einfach an.

Es gibt jetzt auch Pay-per-Crawl, bei dem deine Seite ein HTTP 402 zurückgeben und Bots fürs Lesen zur Kasse bitten kann. Interessant für große Verlage, Overkill für die meisten von uns. Der Punkt für dich ist einfacher: Geh und prüf dein Cloudflare-Dashboard. Du könntest aus Versehen unsichtbar für die KI-Suche sein, und keine noch so clevere robots.txt repariert einen Block, der eine Ebene darüber sitzt.

Also, Soll Ich KI-Crawler Erlauben? Meine Ehrliche Antwort.

Blockier die reinen Training-Bots. Sie kosten ein Vermögen an Bandbreite und geben dir fast nichts. Erlaub die Retrieval- und Search-Bots, denn so erzählt eine KI jemandem, dass dein Unternehmen existiert. Das ist die ganze Antwort, und sie ist das Gegenteil des "blockier sie alle"-Einzeilers, den ich dir vor ein paar Monaten gegeben habe.

Ich bin aber ehrlich mit dir: Das ist ein bewegliches Ziel. Die Bot-Namen ändern sich, die Firmen definieren neu, was als Bot zählt, und die "ein Agent ist kein Crawler"-Argumente werden die Regeln weiter vernebeln. Wer dir eine dauerhafte Antwort verkauft, verkauft dir etwas. Ob sich das ganze Thema überhaupt lohnt, hängt davon ab, wie viel KI-Traffic du tatsächlich bekommst, eine separate und sehr ehrliche Frage, die ich in GEO ist das neue Schlangenöl (oder doch nicht?) angestochen habe.

Was du heute tun kannst: Hör auf, "KI-Crawler" als ein Ding zu behandeln. Prüf deine Logs, prüf deine Cloudflare-Einstellungen, und triff eine bewusste Entscheidung statt einer versehentlichen. Wenn du sicherstellen willst, dass das, was diese Tools über dein Unternehmen sagen, auch stimmt, ist das ein verwandtes Kaninchenloch, das deine Zeit wert ist: wie du deinen Marken-Ruf in KI-Suchergebnissen kontrollierst.

Wenn du robots.txt und Crawler-Logs lieber nicht selbst entwirren willst, das ist genau die unglamouröse SEO-Arbeit, die ich für Kunden mache. Lass uns sprechen, wenn du ein zweites Paar Augen darauf willst, was die KI-Suche auf deiner Seite wirklich sieht.