Solltest du Googles KI-Crawler blockieren? Für eine 20-Seiten-Website sieht die Rechnung anders aus.

"Hab gesehen, dass die BBC und die New York Times KI blockieren. Sollten wir das nicht auch machen?"

Diese Mail kam von einem Kunden, der eine Klimatechnikfirma mit fünf Transportern außerhalb von Phoenix betreibt. Zweiundzwanzig Seiten auf der Website. Rund elf eingehende Anrufe im Monat aus der organischen Suche, und das ist der Großteil seines Neugeschäfts.

Er wollte die Strategie einer Organisation kopieren, deren gesamtes Umsatzmodell darin besteht, Werbung gegen Seitenaufrufe zu verkaufen. Er ist das nicht. Fast niemand, der das hier liest, ist das.

Aber die Frage verdient eine echte Antwort und keine Abfuhr, denn die Schlagzeilen sind echt und die Steuerungsmöglichkeiten sind echt, und die meisten kursierenden Ratschläge dazu sind selbstbewusst falsch. Hier also, was tatsächlich passiert, wenn du Googles KI-Crawler blockierst, welche der vier oder fünf verfügbaren Stellschrauben was tut und wie du herausfindest, auf welcher Seite der Linie dein Geschäft steht.

Die Referenz zu allen Stellschrauben an einem Ort? Lade den kompletten Leitfaden als PDF — 9 Seiten, jede Direktive und was sie tatsächlich tut, ohne Login.

Google-Extended steuert AI Overviews nicht

Fang hier an, denn wenn jemand sagt, er wolle Googles KI-Crawler blockieren, meint er meistens genau das, und es ist das am häufigsten falsch berichtete Detail des Themas.

Google-Extended ist ein robots.txt-Token. Googles Crawler-Dokumentation sagt, es erlaube Publishern zu "steuern, ob Inhalte, die Google von ihren Seiten crawlt, für das Training künftiger Generationen von Gemini-Modellen verwendet werden dürfen", und für Grounding in den Gemini-Apps und der Vertex AI API. Dieselbe Seite sagt klar: "Google-Extended hat keinen Einfluss darauf, ob eine Seite in der Google-Suche enthalten ist, und wird nicht als Ranking-Signal in der Google-Suche verwendet."

Wegen dieses letzten Satzes greifen Leute danach. Es klingt nach Freibier. KI blockieren, Rankings behalten.

Was dabei wegfällt: AI Overviews und AI Mode sind Oberflächen innerhalb der Google-Suche, keine separaten Produkte. Sie stehen auf dem normalen Suchindex, gecrawlt vom normalen Googlebot. Google hat das im Oktober 2023 klargestellt, kurz nach Einführung des Tokens, als es bestätigt hat, dass Google-Extended nicht für das galt, was damals SGE hieß. Das hat sich nicht geändert. Trag User-agent: Google-Extended und Disallow: / in deine robots.txt ein, und du hast dich vom Gemini-Modelltraining abgemeldet. Du bist morgen früh weiterhin voll berechtigt, in einer AI Overview zusammengefasst zu werden.

Noch ein User Agent, weil er Leute verwirrt: Google-CloudVertexBot. Googles Doku beschreibt ihn als Crawler, der "von Seiteninhabern angefordert" wird, um Vertex-AI-Agenten zu bauen, und sagt: "Er hat keinen Effekt auf die Google-Suche oder andere Produkte." Niemand crawlt dich damit, außer ein Seiteninhaber hat es verlangt. Nicht Teil dieser Debatte.

Das echte Opt-out steckt jetzt in der Search Console

Den größten Teil der letzten drei Jahre lautete die ehrliche Antwort auf "kann ich AI Overviews verlassen, ohne die Suche zu verlassen?" nein. Das hat sich im Juni 2026 geändert, und es hat sich geändert, weil eine Regulierungsbehörde es erzwungen hat.

Am 30. September 2025 hat die britische Competition and Markets Authority Google im allgemeinen Suchmarkt den Strategic Market Status zugewiesen, nachdem sie festgestellt hatte, dass Google über 90 Prozent der allgemeinen Suchanfragen in Großbritannien abwickelt. Diese Einstufung schaltet eine Befugnis nach dem Digital Markets, Competition and Consumers Act 2024 frei: Die CMA kann bindende Verhaltensauflagen erlassen, ohne zuvor vor Gericht ein Fehlverhalten nachweisen zu müssen. Am 3. Juni 2026 hat sie das getan und Google angewiesen, Publishern ein echtes Opt-out aus AI Overviews, AI Mode und verwandten KI-Funktionen zu geben, das ihre normale Suchleistung nicht beschädigt.

Google hat geliefert. Es gibt jetzt eine Einstellung auf Property-Ebene in der Search Console, unter Einstellungen, die AI Overviews, AI Mode und die generativen KI-Funktionen in Discover abdeckt. Google hat die Wahl ab dem 17. Juni 2026 respektiert, Inhalte fielen binnen ein bis zwei Tagen heraus. Der Standard für jede Property ist "einschließen", es passiert also nichts, solange du nicht bewusst umschaltest.

Drei Dinge, die es nicht tut, und die zählen:

• Es deckt kein KI-Training ab. Das ist weiterhin Google-Extended, eine komplett separate Stellschraube.
• Es deckt die Gemini-App nicht ab.
• Es ist auf Property-Ebene, nicht auf Seitenebene, jedenfalls bisher. Google hat ab der Anordnung vom Juni neun Monate für die vollständige Umsetzung, feinere Steuerung könnte also erst im März 2027 kommen.

Die Verfügbarkeit ist unübersichtlich. Es startete in Großbritannien zuerst, tauchte ab Juli 2026 außerhalb auf, und der Rollout ist weiter unvollständig. Manche US-Properties haben es, manche nicht, und Stand Anfang September ist es in Deutschland, Österreich und der Schweiz nicht verfügbar. Wenn du die Einstellung nicht findest, liegt das am Rollout, nicht an dir.

Und hier ist der Vorbehalt, den niemand drucken will: Google sagt, die Einstellung beeinflusse die normalen Ergebnisse nicht, aber AI Overviews und organische Ergebnisse sind im echten SERP nicht sauber getrennt. Top Stories zum Beispiel erscheint bei einem beachtlichen Anteil aktueller Nachrichtenanfragen inzwischen innerhalb der AI Overview. Was ein Opt-out dich in der Praxis kostet, ist ehrlich ungemessen. Es gibt noch keinen öffentlichen Traffic-Datensatz. Wer dir die Zahl nennt, erfindet sie.

Die Snippet-Steuerungen sind ein Vorschlaghammer

Bevor es die Search-Console-Einstellung gab, war der einzige Hebel Richtung KI-Funktionen die Vorschausteuerung: nosnippet, max-snippet, data-nosnippet und noindex. Googles eigene Dokumentation zu KI-Funktionen verweist Seiteninhaber weiterhin genau darauf, um "die aus ihren Seiten in der Suche gezeigten Informationen zu begrenzen".

Sie funktionieren. Sie schneiden auch in beide Richtungen, und das ist das ganze Problem.

nosnippet als Meta-Robots-Tag entfernt deinen Inhalt aus AI Overviews. Es entfernt auch dein normales organisches Snippet. Dein Eintrag wird zu einem blauen Link ohne Beschreibung darunter, bei jeder Anfrage, für immer. Für ein Unternehmen, dessen Sucheintrag ein Verkaufsargument ist, ist das ein selbst zugefügtes Conversion-Problem, das weit größer ist als alles, was eine AI Overview dir angetan hat. max-snippet:0 verhält sich genauso. max-snippet:[Zahl] ist eine sanftere Version desselben Tauschs: Du deckelst die Textlänge, und der Deckel gilt auch für dein normales Snippet.

noindex braucht keine Erklärung. Du bist weg.

data-nosnippet ist die einzige der vier mit chirurgischem Wert, und darauf komme ich zurück, denn es ist die Grundlage des vernünftigen Mittelwegs.

Die Kurzfassung: Wenn die Search-Console-Einstellung für deine Property verfügbar ist, nimm die. Ein seitenweites nosnippet 2026 auszurollen kostet dich mehr an normaler Suchsichtbarkeit, als es an KI-Exposition spart.

Publisher und Klempner lösen unterschiedliche Gleichungen

Die Blockierwelle ist echt und sie ist groß. Eine Buzzstream-Analyse vom Januar 2026 über rund 100 der größten britischen und US-amerikanischen Nachrichtenseiten fand, dass 79 Prozent mindestens einen KI-Trainingscrawler blockieren, 71 Prozent Retrieval-Bots blockieren und 34 Prozent der Top 50 jeden getesteten Bot blockieren. Die BBC, die New York Times, das Wall Street Journal, der Telegraph, die Daily Mail, NBC News und die New York Post blockieren alles. Fox News, Politico, der Independent und Substack erlauben alles.

Achte darauf, was diese Publisher blockieren: Trainings- und Retrieval-Crawler von OpenAI, Anthropic, Common Crawl und anderen. Für Googlebot bleiben sie sperrangelweit offen. Google selbst zu blockieren ist neuer und war Stand der Berichterstattung im Juli 2026 immer noch Gerede. Reddit hat es intern diskutiert. USA Today, Politico, Reuters, der Economist und People Inc sollen die Beziehung überdenken. Kein großer Publisher hatte Googles Crawlern tatsächlich den Stecker gezogen.

Jetzt die Rechnung. Ein Publisher verkauft Aufmerksamkeit. Ein Besucher, der eine Zusammenfassung statt des Artikels liest, ist Umsatz, der nicht stattgefunden hat, und davon gibt es Millionen im Monat. Inhalte zurückzuhalten ist echter Hebel, denn ihre Inhalte sind das, woraus die Zusammenfassung besteht, und in ihrer Größenordnung fällt Abwesenheit auf.

Deine Klimatechnikfirma verkauft Aufträge. Du brauchst elf Anrufe, keine elftausend Besuche. Ein Interessent, der eine AI Overview liest, in der steht "Firma X in Chandler macht Wärmepumpentausch und hat 4,8 Sterne aus 200 Bewertungen", und dann anruft, ist kein verlorener Seitenaufruf. Das ist genau das Ergebnis, für das du bezahlt hast. Der Seitenaufruf war immer nur das Mittel dazu.

BrightLocals Local Consumer Review Survey 2026, ein repräsentatives Panel von 1.002 US-Erwachsenen, fand, dass 45 Prozent der Konsumenten inzwischen KI-Werkzeuge nutzen, um lokale Unternehmen zu finden, nach 6 Prozent im Jahr davor, womit KI der drittgrößte Entdeckungskanal hinter Google und Facebook ist. Im selben Zeitraum ist Googles eigener Anteil an lokaler Entdeckung von 83 auf 71 Prozent gefallen. Sich aus dem Kanal zu entfernen, der sich in einem Jahr versiebenfacht hat, ist ein seltsamer Zug für ein Unternehmen, das gefunden werden muss.

Whitesparks Local-Studie ist die beste Illustration, die ich gesehen habe. Sie haben 540 Suchanfragen in drei US-Städten und sechs Dienstleistungsbranchen manuell geprüft. AI Overviews erschienen im Schnitt bei 68 Prozent lokaler Unternehmensanfragen, aber die Aufteilung nach Intention zählt: 15 Prozent bei reinen Lokalanfragen wie "Klempner in meiner Nähe", 92 Prozent bei informationalen wie "was kostet ein Klempner" und 97 Prozent bei hybriden Anfragen. In ihrer Houston-Klempner-Stichprobe gingen 60 Prozent der KI-Zitate an Drittanbieter-Publisher wie Yelp, Thumbtack, Reddit und HomeGuide, und nur 40 Prozent an echte lokale Unternehmen.

Lies die letzte Zahl nochmal. Bei den Anfragen, in denen AI Overviews dominieren, holen sich Aggregatoren schon jetzt den Großteil der Zitate. Wenn du dich abmeldest, entfernst du die AI Overview nicht. Du reichst nur deine 40 Prozent an Thumbtack weiter. Wie man diese informationalen Anfragen gewinnt, habe ich ausführlicher in Local SEO for Contractors beschrieben.

Eine Entscheidungsregel, die du wirklich anwenden kannst

Bevor du Googles KI-Crawler irgendwo blockierst, stell eine Frage: Verdient deine Seite Geld mit dem Besuch oder mit dem, was danach passiert?

Wenn der Umsatz eine Funktion von Seitenaufrufen, Werbeeinblendungen, Abo-Abschlüssen auf Artikelseiten oder Affiliate-Klicks ist, dann ist eine Zusammenfassung, die den Leser zufriedenstellt, ein direkter Verlust, und Blockieren ist eine schlüssige, wenn auch riskante Verhandlungsposition. Das sind Publisher, große Content-Seiten sowie Vergleichs- und Bewertungs-Affiliates.

Wenn der Umsatz eine Funktion von Kontakten, Anrufen, Buchungen, Angeboten oder Käufen ist, dann ist es das Ziel und nicht der Schaden, in einer KI-Antwort korrekt beschrieben zu werden. Das sind Dienstleister, lokale Handwerker, B2B-Firmen, Agenturen, SaaS, E-Commerce und Praxen. Blockieren ist Selbstverletzung.

Die Grenzfälle sind real. Ein Blog, der über Displaywerbung finanziert ist und zusätzlich eine Dienstleistung verkauft, ist wirklich gespalten. Wenn du in der Mitte bist, passt der Property-weite Schalter schlecht, und deswegen gibt es den nächsten Abschnitt.

Der Mittelweg ist selektiv, nicht total

Hier verdient data-nosnippet sein Geld. Es ist ein HTML-Attribut, das du an ein bestimmtes Element hängst, keine seitenweite Direktive, und es sagt Google, diesen konkreten Textblock nicht in Snippets oder KI-Funktionen zu verwenden, während der Rest der Seite voll verfügbar bleibt.

Leg es um die Dinge, die du wirklich nicht von einer Maschine nacherzählt haben willst: eine exakte Preistabelle, die du quartalsweise neu verhandelst, eine detaillierte Prozessbeschreibung, die dein eigentliches Unterscheidungsmerkmal ist, Verfügbarkeits- oder Lieferzeitangaben, die veralten. Lass alles andere offen. Deine Leistungsbeschreibungen, dein Einzugsgebiet, deine Qualifikationen, deine Bewertungen und deine Kontaktdaten sollten so maschinenlesbar sein wie irgend möglich, denn genau das bringt dich in die Antwort.

Zwei Regeln, an die ich mich auf Kundenseiten halte. Die Geldseiten bleiben komplett unbeschränkt: Leistungsseiten, Standortseiten, Kontakt und die Preisseite, wenn sie ein echtes Verkaufsargument ist. Und nimm nie eine seitenweite Direktive, wenn es eine auf Blockebene gibt. Pauschalregeln sind der Weg, auf dem Leute ihre eigenen Snippets löschen und dann sechs Wochen rätseln, warum die Klickrate von der Klippe gefallen ist.

Wenn du die offensive statt der defensiven Version davon willst: How to Get Cited by ChatGPT behandelt, was eine Studie über 1,4 Millionen Prompts dazu gefunden hat, welche Seiten tatsächlich in Antworten gezogen werden, und zu steuern, was KI über deine Marke sagt behandelt die Reputationsseite, die unter der Blockierfrage meistens das ist, was Kunden wirklich umtreibt.

GPTBot und ClaudeBot zu blockieren ist eine andere Diskussion

Sagen wir das klar, denn die beiden Gespräche werden gern vermatscht: GPTBot, ClaudeBot, PerplexityBot, CCBot, Applebot-Extended und der Rest haben nichts mit deinen Google-Rankings zu tun. Es sind Crawler anderer Firmen. Sie morgen alle zu sperren ändert nichts daran, wie Google dich sieht.

Was es ändert, ist, ob ChatGPT, Claude und Perplexity dich sehen und zitieren können. Diese Produkte unterscheiden Trainingscrawler von Retrieval-Crawlern, und die Unterscheidung ist die ganze Entscheidung. Trainingsbots zu blockieren kostet dich sehr wenig Sichtbarkeit. Retrieval-Bots wie OAI-SearchBot, ChatGPT-User und Perplexity-User zu blockieren macht dich in den Produkten unzitierbar, in denen ein wachsender Teil der Kaufrecherche stattfindet. Viele Seiten haben aus Versehen das Zweite getan, während sie das Erste wollten, was ich in You Blocked the AI Bots. Now ChatGPT Can't Cite You durchgegangen bin. Wenn du deine Präferenzen ordentlicher formulieren willst, lohnt ein Blick auf llms.txt, mit dem Vorbehalt, dass die Verbreitung noch dünn ist.

Wegen Bandbreite zu blockieren ist legitim, und das ist etwas anderes

Ein legitimer Grund, einen Crawler zu blockieren, hat nichts mit Inhaltspolitik zu tun: Er hämmert deinen Server. Cloudflares eigene Daten legen nahe, dass über 50 Prozent des KI-Crawl-Traffics dafür draufgeht, Seiten neu zu holen, die sich nicht geändert haben. Ich habe kleinen Seiten auf bescheidenem Hosting zugesehen, wie sie von Crawlern umgeworfen wurden, die dieselben Seiten dutzendfach pro Stunde ziehen.

Drossle sie. Blockier die schlecht erzogenen. Das ist eine Infrastrukturentscheidung und braucht keine philosophische Begründung, nur eine Logdatei. AI Bots Are Crawling Your Website to Death hat die praktische Version.

Auch hier verschiebt sich der Boden. Ab dem 15. September 2026 blockiert Cloudflare gemischt genutzte Crawler standardmäßig auf werbetragenden Seiten für Neukunden, neue Seiten in bestehenden Konten und alle Free-Tier-Konten und teilt Bots in die Kategorien Search, Agent und Training. Wenn du auf einem kostenlosen Cloudflare-Plan bist und deine Bot-Einstellungen länger nicht angeschaut hast, schau jetzt. Vielleicht gilt für dich eine Richtlinie, die du nie gewählt hast.

Was ich dem Klimatechnik-Kunden gesagt habe

Ich habe ihm gesagt, er soll Googles KI-Crawler nicht blockieren, und ich habe ihm in vier Sätzen gesagt warum: Die Organisationen, über die er gelesen hat, verkaufen Werbung, er verkauft Wärmepumpen-Installationen, und eine KI-Antwort, die seine Firma nennt und sein Einzugsgebiet aufführt, erledigt seine Arbeit für ihn und nicht statt ihm.

Dann habe ich das getan, worauf es ankam, nämlich seine Leistungs- und Standortseiten so gebaut, dass eine Maschine sie korrekt zusammenfassen kann. Das Risiko für ein Unternehmen seiner Größe ist nicht, von KI-Suche benutzt zu werden. Es ist, schlecht beschrieben zu werden oder gar nicht gefunden zu werden, während ein Aggregator den Platz nimmt.

Ich bin ehrlich zu den Grenzen. Das Search-Console-Opt-out ist rund drei Monate alt, der Rollout ist ungleichmäßig, niemand hat glaubwürdige Vorher-Nachher-Traffic-Daten zu seiner Nutzung veröffentlicht, und das regulatorische Bild bewegt sich weiter, mit Googles voller Umsetzungsfrist bis ins Jahr 2027. Wenn du als Publisher das ernsthaft abwägst, triffst du eine Entscheidung mit unvollständigen Informationen, und du solltest das laut sagen, statt so zu tun als nicht.

Aber beim Zwanzig-Seiten-Dienstleister beißt die Unsicherheit kaum. Der Nachteil, sichtbar zu bleiben, ist, dass manche Leute eine Zusammenfassung statt deiner Startseite lesen. Der Nachteil des Blockierens ist, dass du aus dem am schnellsten wachsenden Weg verschwindest, auf dem deine Kunden Unternehmen wie deins finden, im Tausch gegen einen Hebel, den du nicht hast.

Wenn du ein zweites Augenpaar auf deine robots.txt und deine Snippet-Direktiven willst, bevor du etwas änderst: Das ist die Art Sache, die ich bei Wunderlandmedia mache. Bring deine Logdateien mit.