GPTBot (OpenAI): ausschließlich Modelltraining
GPTBot sammelt Daten, mit denen OpenAI seine Modelle trainiert. Er steuert nicht, ob Sie in den Ergebnissen der ChatGPT-Suche auftauchen; dafür ist ein anderer Bot zuständig.
Ihn zu blockieren ist eine nachvollziehbare Entscheidung über Inhaltslizenzen und kostet Sie keine Sichtbarkeit. Der Fehler ist, ihn in dem Glauben zu blockieren, er steuere die ChatGPT-Suche.
Kurz gesagtBlockiert das Training. Ohne Wirkung auf die Sichtbarkeit in der ChatGPT-Suche.
OAI-SearchBot (OpenAI): die Sichtbarkeit in der ChatGPT-Suche
Das ist der wirtschaftlich entscheidende. OAI-SearchBot baut den Index auf, aus dem die ChatGPT-Suche schöpft, und OpenAI dokumentiert unmissverständlich, dass ausgeschlossene Websites „nicht in den Antworten der ChatGPT-Suche erscheinen“.
Wenn Sie nach dieser Seite nur eines tun: Prüfen Sie, dass Ihre robots.txt OAI-SearchBot zulässt.
Kurz gesagtIhn zu blockieren entfernt Sie aus den Antworten der ChatGPT-Suche. Fast niemand will das.
ChatGPT-User (OpenAI): Live-Abrufe während eines Gesprächs
Wenn jemand in einer ChatGPT-Sitzung einem Link zu Ihrer Website folgt oder den Assistenten bittet, sich eine bestimmte Seite anzusehen, ruft dieser Agent sie in Echtzeit ab.
Ihn zu blockieren bedeutet: Wer ChatGPT ausdrücklich bittet, Ihre Seite zu lesen, bekommt zu hören, dass das nicht geht. Eine merkwürdige Erfahrung für jemanden, der gerade aktiv über Sie recherchiert.
Kurz gesagtBlockiert die Anfrage „lies diese Seite“, die ein echter Nutzer selbst ausgelöst hat.
ClaudeBot (Anthropic): Modelltraining
Anthropics Trainings-Crawler, das direkte Gegenstück zu GPTBot. Es gilt dieselbe Überlegung: Ihn zu blockieren ist eine Lizenz-, keine Sichtbarkeitsentscheidung.
Kurz gesagtBlockiert das Training für Claude. Keine Folgen für die Suchsichtbarkeit.
Claude-SearchBot und Claude-User (Anthropic): Claudes Suche und Live-Abrufe
Die Entsprechungen zu OAI-SearchBot und ChatGPT-User bei Anthropic: Der eine baut den Suchindex auf, den Claude konsultiert, der andere ruft eine Seite ab, wenn das Gespräch eines Nutzers es verlangt.
Claudes Nutzerschaft ist stark technisch und beruflich geprägt. Für ein B2B-Dienstleistungsunternehmen ist das je Besuch ein wertvolleres Publikum, als der reine Traffic-Anteil vermuten lässt.
Kurz gesagtDiese zu blockieren entfernt Sie aus Claudes Antworten.
PerplexityBot (Perplexity): Perplexitys Antwortindex
Perplexity ist von Grund auf antwortorientiert: Es zeigt eine zusammengesetzte Antwort mit nummerierten Quellenangaben statt einer Linkliste, wodurch ein Zitat dort ungewöhnlich sichtbar ist.
Er führt kein JavaScript aus, eine im Browser gerenderte Website ist für ihn also unsichtbar, wie gut der Inhalt auch sein mag.
Kurz gesagtIhn zu blockieren entfernt Sie aus den Quellenangaben von Perplexity.
Googlebot (Google): Suche, KI-Übersichten und KI-Modus
Googlebot rendert JavaScript und ist die einzige Stellschraube, auf die es bei den KI-Übersichten und im KI-Modus ankommt. Einen eigenen „KI-Übersichten-Bot“ zum Zulassen oder Blockieren gibt es nicht.
Deshalb ist klassisches SEO die Eintrittsvoraussetzung für Googles KI-Oberflächen und keine davon getrennte Disziplin.
Kurz gesagtIhn zu blockieren entfernt Sie aus Google Search und den KI-Übersichten zugleich.
Google-Extended: ein robots.txt-Token, kein Crawler
Google-Extended wird von Agenturen häufig falsch als Hebel für die KI-Übersichten dargestellt. Es ist überhaupt kein Crawler, sondern ein Token, das regelt, ob Ihre Inhalte Gemini trainieren.
Google stellt ausdrücklich fest, dass es „sich nicht auf die Aufnahme einer Website in Google Search auswirkt“, und es zu blockieren entfernt Sie nicht aus den KI-Übersichten.
Kurz gesagtBlockiert ausschließlich das Gemini-Training. Ohne Wirkung auf Google Search oder die KI-Übersichten.
Bingbot (Microsoft) und Applebot (Apple)
Bingbot rendert JavaScript unvollständig und speist Bing, das wiederum einen Teil der Ergebnisse der ChatGPT-Suche speist. Er hat also einen indirekten Weg in eine Antwortmaschine.
Applebot rendert JavaScript und versorgt die Oberflächen von Siri und Apple Intelligence.
Kurz gesagtBeide sollte man zulassen; beide reichen weiter als ihre eigenen Produkte.
Die robots.txt, die das tut, was die meisten tatsächlich wollen
Die übliche Absicht lautet: aus dem Modelltraining heraus, in den Antworten drin. Das lässt sich ausdrücken, denn Training und Antworten sind verschiedene Crawler. Einen Bot zuzulassen ist der Standardfall, und deshalb ist die brauchbare Datei diejenige, die nur benennt, was Sie verweigern.
Drei Zeilen verweigern den Trainingssammlern den Zugriff: Disallow: / unter User-agent: GPTBot, dasselbe unter User-agent: ClaudeBot und dasselbe unter User-agent: Google-Extended. Mehr braucht keine Regel, weil Zulassen der Standardfall ist. Ergänzen Sie die Zeile mit Ihrer Sitemap und hören Sie dort auf.
Frei lesen dürfen Sie danach OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Googlebot, Bingbot und Applebot, also genau die Gruppe, die darüber entscheidet, ob Sie überhaupt zitiert werden können.
Wenn Sie auch im Training vorkommen möchten, ist die Antwort noch einfacher: Veröffentlichen Sie nichts außer der Sitemap-Zeile. Der Fehler, den wir in Audits tatsächlich finden, ist nie eine zu großzügige Datei. Es ist ein blankes `User-agent: *` mit einem `Disallow: /`, das aus einer Staging-Umgebung übrig geblieben ist und jeden Bot auf dieser Seite auf einen Schlag erfasst.
Kurz gesagtBenennen Sie nur, was Sie verweigern. Das Training zu blockieren verlangt nicht, die antwortenden Crawler zu blockieren.
