AI-Bots crawlen deine Website zu Tode. So stoppst du sie.

Ein Kunde hat mich letzten Monat angerufen, weil seine Seite "ploetzlich langsam" war. Keine Code-Aenderungen, keine neuen Plugins, keine Traffic-Spitzen in Google Analytics. Alles sah normal aus.

War es aber nicht.

Als ich in die Server-Logs geschaut habe, fand ich das Problem. Sein kleiner Hetzner VPS wurde von AI-Crawlern bombardiert. Tausende Anfragen pro Stunde von Bots mit Namen wie GPTBot, ClaudeBot und etwas namens Meta-ExternalAgent. Die CPU des Servers war auf 95% festgenagelt, und die Bandbreiten-Rechnung stieg rapide.

Hier ist die unbequeme Wahrheit: Bots machen mittlerweile 52% des gesamten Web-Traffics aus. Mehr als die Haelfte der Anfragen, die auf deinem Server ankommen, stammen nicht von Menschen. Und der Anteil der AI-Crawler ist seit 2024 um 300% gestiegen.

Deine Seite ist vielleicht gerade langsam. Und es ist vielleicht nicht deine Schuld.

Dein Server ist nicht langsam. Er wird aufgefressen.

Das ist kein theoretisches Problem. Es passiert jetzt, in grossem Massstab.

Eine ukrainische 3D-Modell-Seite namens Trilegangers wurde ueberrollt, als OpenAIs Crawler sie gleichzeitig von 600 verschiedenen IP-Adressen aus angegriffen haben. Sie aktualisierten ihre robots.txt. Die Crawler kamen trotzdem. In der Spitze koennen AI-Crawler 39.000 Anfragen pro Minute erreichen. Zum Vergleich: Das ist der Traffic, den die meisten kleinen Unternehmensseiten in einem ganzen Monat sehen.

42% der kleinen Unternehmen haben in den letzten 12 Monaten Performance- oder Bandbreitenprobleme durch Bot-Traffic gemeldet. Und die meisten haben nicht mal gemerkt, dass Bots die Ursache waren. Sie haben ihr Hosting beschuldigt, ihr CMS, ihren Entwickler. Kommt dir das bekannt vor?

Wer crawlt dich (und warum es denen egal ist, ob du das willst)

Lass mich dir die ueblichen Verdaechtigen vorstellen.

Meta-ExternalAgent ist der schlimmste Uebeltaeter. Er macht 52% des gesamten AI-Crawler-Traffics aus. Metas Bot scrapt Inhalte fuer das Training ihrer KI-Modelle, und er tut das aggressiv.

GPTBot (OpenAI) ist zwischen Mai 2024 und Mai 2025 um 305% gewachsen. OpenAIs Crawler zusammen machen jetzt 3,8-mal so viel Anfragevolumen wie der Googlebot. Lass das mal sacken. Der Crawler eines KI-Unternehmens trifft deine Seite fast viermal haerter als Googles.

ChatGPT-User crawlt etwa 2.400 Seiten pro Stunde, wenn er vorbeischaut. Das ist der Bot, der losfeuert, wenn jemand ChatGPT eine Frage stellt und es nach Live-Daten sucht.

Bytespider (ByteDance/TikTok) ist der, der mich wirklich wuetend macht. Es ist dokumentiert, dass er robots.txt komplett ignoriert und seinen User-Agent faelscht, um wie ein normaler Browser auszusehen. Du kannst ihn nicht mal hoeflich bitten aufzuhoeren.

Dann gibt es noch ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended und Applebot-Extended. Manche davon sind respektvoller als andere. Aber zusammen ergeben sie eine Wand aus Traffic, fuer die dein Server nicht gebaut wurde.

Manche Seitenbetreiber gehen den komplett entgegengesetzten Weg und erstellen eine llms.txt-Datei, um KI dabei zu helfen, ihre Inhalte zu verstehen. Ob das Sinn macht, haengt komplett von deinem Geschaeftsmodell ab.

Die robots.txt-Luege (und warum es sich trotzdem lohnt, sie einzurichten)

Hier ist etwas, das dir die meisten "aktualisier einfach deine robots.txt"-Guides nicht sagen: robots.txt ist ein Vorschlag, kein Gesetz.

Es gibt keine technische Durchsetzung. Keine gesetzliche Pflicht (noch nicht). Ein gut erzogener Crawler liest deine robots.txt und respektiert sie. Ein schlecht erzogener ignoriert sie komplett.

Die Daten bestaetigen das. Eine Studie zeigte, dass 70,6% der Top-Nachrichtenseiten, die ChatGPT-User explizit in ihrer robots.txt blockiert hatten, trotzdem in KI-generierten Zitaten auftauchten. Die Bots haben entweder vor dem Block gecrawlt, gecachte Daten verwendet oder die Anweisung einfach ignoriert.

Die IETF arbeitet an Erweiterungen des robots.txt-Standards speziell fuer AI-Crawler, und es gibt einen vorgeschlagenen Standard namens Web Bot Auth, der kryptografische Identitaetsverifizierung nutzen wuerde. Aber das ist Zukunftsmusik. Im Moment ist es der Wilde Westen.

Trotzdem solltest du robots.txt-Blocks einrichten. Der Grund: Die serioesen Crawler (GPTBot, ClaudeBot, Google-Extended) respektieren sie tatsaechlich. Und sie einzurichten ist eine Baseline, die nichts kostet.

Hier ist ein robots.txt-Block, den du sofort kopieren kannst:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Das ai-robots-txt GitHub-Repo pflegt eine aktuelle Liste aller bekannten AI-Crawler, wenn du gruendlich sein willst. Und wenn du verstehen moechtest, wie robots.txt ins groessere Bild passt, ist Technical SEO der richtige Anlaufpunkt.

Wie du wirklich siehst, was deinen Server trifft

Google Analytics hilft dir hier nicht. Es filtert Bot-Traffic standardmaessig raus. Um zu sehen, was wirklich passiert, brauchst du die rohen Server-Logs.

Wenn du Nginx nutzt, findest du dein Access-Log unter /var/log/nginx/access.log. Fuer Apache ist es /var/log/apache2/access.log. Hier sind zwei Befehle, die dir alles sagen, was du wissen musst:

Die Top 20 User Agents auf deinem Server finden:

awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

Die Top 20 IPs nach Anfragen finden:

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

Worauf du achten solltest: Massive Anfragenzahlen von einzelnen IPs, User-Agent-Strings mit "bot", "crawler", "spider" oder den oben genannten AI-Bot-Namen. Wenn eine IP ueber 10.000 Anfragen am Tag macht und es nicht der Googlebot ist, hast du dein Problem gefunden.

Fuer eine visuellere Darstellung gibt dir GoAccess ein Echtzeit-Dashboard aus deinen Log-Dateien. Es dauert etwa 30 Sekunden einzurichten und ist kostenlos.

Blocking auf Server-Ebene: Das Einzige, das wirklich funktioniert

robots.txt ist die hoefliche Bitte. Server-Level-Blocking ist der Tuersteher.

Fuer Nginx fuege dies in deinen Server-Block ein:

if ($http_user_agent ~* "GPTBot|ClaudeBot|CCBot|Bytespider|Meta-ExternalAgent|ChatGPT-User") {
    return 444;
}

Der 444 Statuscode ist Nginx-spezifisch. Er beendet die Verbindung lautlos, ohne eine Antwort zu senden. Der Crawler bekommt nichts. Keine Header, keinen Body, keinen Hinweis darauf, dass der Server ueberhaupt existiert. Das digitale Aequivalent zum Auflegen.

Fuer Rate Limiting (einige Bots durchlassen, aber drosseln):

limit_req_zone $binary_remote_addr zone=ai_bots:10m rate=5r/m;

if ($http_user_agent ~* "GPTBot|ClaudeBot") {
    limit_req zone=ai_bots burst=2 nodelay;
}

Fuer Apache nutzt du mod_rewrite:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} GPTBot|ClaudeBot|CCBot|Bytespider|Meta-ExternalAgent [NC]
RewriteRule .* - [F,L]

Wenn du Cloudflare nutzt, haben die es einfach gemacht. Ihr "AI-Bots blockieren"-Toggle erkennt ueber 200 Bot-Typen und blockiert sie mit einem Klick. Ueber 80% der Cloudflare-Kunden haben das bereits aktiviert.

Ich habe schon mit Server-Ressourcenproblemen zu tun gehabt, und die Loesung ist immer die gleiche: sei chirurgisch praezise bei dem, was du blockierst, wirf nicht einfach mehr Ressourcen auf das Problem.

Die unbequeme Frage: Solltest du sie ueberhaupt blockieren?

Hier wird es differenziert. Und ich glaube, die "alles blockieren"-Fraktion uebersieht etwas Wichtiges.

Erinnerst du dich an die Statistik, dass 70,6% der blockierten Seiten trotzdem in KI-Zitaten auftauchen? Das bedeutet: Training-Crawler zu blockieren verhindert nicht, dass dein Content in KI-Antworten erscheint. Die Daten sind bereits draussen, gecacht, in Modellen eingebettet. Das Pferd hat den Stall verlassen.

Aber hier ist die Kehrseite: Wenn du alles blockierst, einschliesslich suchintegrierter Crawler wie ChatGPT-User und Googles KI-Tools, koenntest du dich von einem wachsenden Traffic-Kanal abschneiden. KI-Suche ueber Perplexity, ChatGPT und Google AI Overviews waechst. Diese Crawler zu blockieren bedeutet, dass deine Seite in diesen Ergebnissen nicht auftaucht.

Ich habe darueber geschrieben, wie deine Reaktion auf den KI-bedingten Traffic-Verlust die Sache verschlimmern kann. Dasselbe Prinzip gilt hier. Eine reflexartige "alles blockieren"-Reaktion mag befriedigend sein, ist aber nicht immer strategisch.

Meine Empfehlung: Sei selektiv. Blockiere die reinen Training-Crawler, die dir null Wert bieten (Meta-ExternalAgent, CCBot, Bytespider). Drossle die, die mit Suchprodukten verbunden sind (GPTBot, ChatGPT-User). Und ueberwache die Auswirkungen sowohl auf deine Server-Performance als auch auf deine Sichtbarkeit in KI-gestuetzten Suchergebnissen.

Was ich tatsaechlich fuer meine Kunden getan habe (und was ich fuer deine tun wuerde)

Fuer den Kunden, den ich am Anfang erwaehnt habe, hier ist der mehrschichtige Ansatz, den ich umgesetzt habe:

Schicht 1: robots.txt. Alle KI-Training-Crawler blockiert. Hat 5 Minuten gedauert. Kostenlos.

Schicht 2: Nginx-Regeln. Den return 444-Block fuer die aggressiven Crawler hinzugefuegt. Rate Limiting fuer die suchverbundenen. Weitere 10 Minuten.

Schicht 3: Cloudflare. Fuer Kunden, die es nutzen, habe ich den AI-Bot-Blocking-Toggle aktiviert und eine Custom Rule eingerichtet, um bestimmte Bots mit reduzierter Rate durchzulassen.

Schicht 4: Monitoring. Einen Cronjob eingerichtet, um die Access-Logs woechentlich auf neue Bot-Muster zu pruefen. Neue Crawler tauchen staendig auf. Das ist ein Wettruestung, kein einmaliger Fix.

Das Ergebnis? 75% weniger Bot-Traffic und ungefaehr 30% niedrigere Hosting-Kosten durch reduzierten Bandbreiten- und CPU-Verbrauch. Die Seite fuehlt sich wieder schnell an, und der Kunde bekommt keine Ueberlastungswarnungen mehr von seinem Hosting-Anbieter.

Ich bin ehrlich: Das ist nicht geloest. Neue Bots tauchen jeden Monat auf. Bytespider faelscht weiter. Manche Crawler rotieren durch Tausende von IPs. Es ist ein bewegliches Ziel, und ich habe keinen permanenten Fix. Niemand hat das.

Aber du kannst es handhabbar machen. Fang mit der robots.txt an. Fuege die Server-Blocks hinzu. Ueberwache deine Logs. Und akzeptiere, dass das jetzt zum Betrieb einer Website in 2026 gehoert.

Wenn deine Seite ueber Bot-Management hinaus optimiert werden muss, ist das ein anderes Gespraech. Aber wenn dein Server kaempft und du nicht weisst warum, schau zuerst in die Logs. Die Antwort koennte dich ueberraschen.

Brauchst du Hilfe beim Blockieren von AI-Crawlern, die die Performance deiner Seite killen? Lass uns reden darueber, wie wir deinen Server wieder unter Kontrolle bringen.