KI-Crawler und GPTBot
KI-Firmen schicken verschiedene Crawler los, für Training, für ihre Suche und für einzelne Nutzerfragen. Wer den falschen sperrt, verschwindet aus ChatGPT, statt nur das Training zu verhindern.
Was ist ein KI-Crawler?
Ein KI-Crawler ist ein Programm einer KI-Firma, das Websites automatisch abruft. OpenAI, Anthropic, Perplexity und Google trennen dabei nach Zweck. Ein Teil sammelt Inhalte für das Training von Sprachmodellen, ein Teil baut den Suchindex für KI-Antworten auf, und ein Teil ruft Seiten nur ab, wenn ein Nutzer gerade danach fragt. GPTBot ist der Trainings-Crawler von OpenAI. Für die Suche in ChatGPT zählt ein anderer Crawler, der OAI-SearchBot.
Grundlage sind die Crawler-Dokumentationen von OpenAI, Anthropic, Perplexity und Google, abgerufen am 28. Oktober 2026. Die Namen und Regeln ändern sich gelegentlich, die Quellen stehen am Ende der Seite.
Die drei Zwecke im Überblick
Jeder Anbieter lässt sich in der robots.txt einzeln steuern. Entscheidend ist, welchen Zweck Sie erlauben oder ausschliessen wollen, nicht welche Firma dahintersteht.
- 1 Training
- Inhalte können in das Training künftiger Sprachmodelle einfliessen. Beispiele sind GPTBot von OpenAI und ClaudeBot von Anthropic. Eine Sperre betrifft laut den Anbietern das Training, nicht die Suche.
- 2 Suche
- Der Crawler baut den Index auf, aus dem KI-Antworten ihre Quellen holen. Beispiele sind OAI-SearchBot, Claude-SearchBot und PerplexityBot. Wer diese Crawler sperrt, wird in den jeweiligen Suchantworten in der Regel nicht mehr als Quelle gezeigt.
- 3 Nutzerabruf
- Ein Nutzer stellt eine Frage, und das System ruft dafür einzelne Seiten ab. Beispiele sind ChatGPT-User, Claude-User und Perplexity-User. OpenAI und Perplexity schreiben, dass robots.txt bei solchen Abrufen nicht immer greift.
- G Sonderfall Google
- Google-Extended ist kein eigener Crawler, sondern ein Kennzeichen in der robots.txt. Es regelt Training und Grounding für Gemini-Apps und Vertex AI. Auf die Google-Suche und ihre KI-Übersicht hat es laut Google keinen Einfluss.
Wie sieht das für Ihren Betrieb aus?
Im Erstgespräch schauen wir Ihre Ausgangslage an und sagen offen, was wir sehen und ob wir helfen können. Über 120 Schweizer Unternehmen betreut seit 2023.
Die wichtigsten KI-Crawler
Diese Tabelle fasst zusammen, was die Anbieter selbst über ihre Crawler schreiben. Andere Crawler, etwa von Datensammlern oder kleineren KI-Firmen, sind hier bewusst nicht aufgeführt.
| Crawler und Anbieter | Wofür er abruft und was eine Sperre bewirkt |
|---|---|
| GPTBot (OpenAI) | Sammelt Inhalte, die für das Training der Modelle von OpenAI genutzt werden können. Eine Sperre signalisiert, dass Ihre Inhalte nicht ins Training sollen. Die Sichtbarkeit in der ChatGPT-Suche hängt davon nicht ab. |
| OAI-SearchBot (OpenAI) | Bringt Websites in die Suchergebnisse von ChatGPT. Gesperrte Seiten erscheinen laut OpenAI nicht in Suchantworten, höchstens noch als Navigationslink. Änderungen an der robots.txt brauchen rund 24 Stunden. |
| ChatGPT-User (OpenAI) | Ruft Seiten ab, wenn Nutzer in ChatGPT oder in einem eigenen GPT danach fragen. Kein automatisches Crawling. Da der Abruf vom Nutzer ausgeht, gelten robots.txt-Regeln laut OpenAI unter Umständen nicht. |
| ClaudeBot (Anthropic) | Sammelt Inhalte, die zum Training der Claude-Modelle beitragen können. Eine Sperre bedeutet laut Anthropic, dass künftige Inhalte Ihrer Website aus dem Training ausgeschlossen werden. |
| Claude-SearchBot (Anthropic) | Verbessert die Qualität der Suchergebnisse in Claude. Eine Sperre kann laut Anthropic Ihre Sichtbarkeit in Suchantworten verringern. |
| Claude-User (Anthropic) | Ruft Seiten ab, wenn Nutzer Claude eine Frage stellen. Eine Sperre verhindert diese Abrufe und kann die Sichtbarkeit bei nutzergesteuerter Suche verringern. |
| PerplexityBot (Perplexity) | Zeigt und verlinkt Websites in den Suchergebnissen von Perplexity. Laut Perplexity nicht für das Training von Basismodellen. Änderungen brauchen bis zu 24 Stunden. |
| Perplexity-User (Perplexity) | Ruft Seiten bei konkreten Nutzerfragen ab. Laut Perplexity ignoriert dieser Abruf robots.txt-Regeln in der Regel, weil ein Nutzer ihn ausgelöst hat. |
| Google-Extended (Google) | Kennzeichen ohne eigenen Crawler. Regelt, ob Inhalte für das Training künftiger Gemini-Modelle und für Grounding in Gemini-Apps und Vertex AI genutzt werden. Kein Einfluss auf die Google-Suche und kein Rankingsignal. |
| Googlebot (Google) | Crawlt für die Google-Suche, auch für die KI-Übersicht und den KI-Modus. Eine Sperre nimmt Ihre Seiten aus der ganzen Google-Suche. Für KMU fast nie sinnvoll. |
Weitere Kennungen, die zählen
Wer nur GPTBot und ClaudeBot sperrt, lässt oft eine wichtige Tür offen. CCBot von Common Crawl sammelt ein offenes Webarchiv, das in Forschung und KI-Entwicklung breit genutzt wird. Common Crawl dokumentiert die Sperre mit User-agent: CCBot und Disallow: /.
Apple trennt ähnlich wie Google. Applebot crawlt für Siri, Spotlight und Safari. Mit einer Sperre von Applebot-Extended schliessen Sie laut Apple nur das Training der generativen Modelle aus, Ihre Website bleibt in den Apple-Diensten auffindbar.
Echte und falsche Bots
Jeder kann sich im User-Agent als GPTBot oder CCBot ausgeben. Common Crawl schreibt ausdrücklich, dass Crawler sich fälschlich als CCBot bezeichnen. Ob ein Abruf echt ist, zeigt erst der Abgleich der IP-Adresse mit den veröffentlichten Bereichen oder ein Reverse-DNS-Check, wie ihn Apple und Common Crawl beschreiben.
Cloudflare hat am 1. Juli 2025 angekündigt, KI-Crawler standardmässig zu blockieren. Läuft Ihre Domain über Cloudflare, prüfen Sie, ob diese Einstellung auch die Such-Crawler trifft, die Sie zulassen wollen.
GPTBot blockieren, so geht es
Die Einträge gehören in die Datei robots.txt im Hauptverzeichnis Ihrer Domain. Prüfen Sie vorher, welche Regeln schon drinstehen, und ersetzen Sie die Datei nicht ungeprüft.
| Ihr Ziel | Einträge in der robots.txt |
|---|---|
| Kein Training bei OpenAI, aber weiter in der ChatGPT-Suche | User-agent: GPTBotUser-agent: OAI-SearchBot |
| Kein Training bei Anthropic | User-agent: ClaudeBotClaude-SearchBot bleibt erlaubt, solange Sie ihn nicht ebenfalls sperren. |
| Kein Gemini-Training und kein Grounding in Gemini-Apps | User-agent: Google-ExtendedDie Google-Suche und die KI-Übersicht sind davon nicht betroffen. |
| Nicht in der KI-Übersicht und im KI-Modus von Google erscheinen | Das regelt nicht die robots.txt, sondern die Einstellung «Search generative AI» in der Google Search Console. Standard ist die Teilnahme. Mehr dazu unter KI-Bericht in der Search Console. |
Anthropic weist darauf hin, dass die Einträge für jede Subdomain einzeln gesetzt werden müssen. OpenAI und Perplexity empfehlen, die veröffentlichten IP-Bereiche ihrer Such-Crawler in der Firewall zuzulassen.
Häufige Irrtümer zu KI-Crawlern
Viele Anleitungen werfen Training und Suche in einen Topf. Hier steht jede verbreitete Aussage neben dem, was die Anbieter selbst schreiben.
| Behauptung | Was die Anbieter sagen |
|---|---|
| «Wer GPTBot sperrt, ist in ChatGPT unsichtbar.» | Nein. Für die ChatGPT-Suche ist OAI-SearchBot zuständig. OpenAI schreibt ausdrücklich, dass man GPTBot sperren und OAI-SearchBot erlauben kann. |
| «Google-Extended sperren nimmt mich aus der KI-Übersicht.» | Nein. Google-Extended hat laut Google keinen Einfluss auf die Google-Suche. Dafür gibt es die Einstellung in der Search Console. |
| «Mit der robots.txt schütze ich vertrauliche Inhalte.» | Nein. Laut Google setzt die robots.txt nichts durch, seriöse Crawler halten sich freiwillig daran. Vertrauliches gehört hinter ein Passwort. |
| «Alle KI-Abrufe halten sich an die robots.txt.» | Teilweise. Die automatischen Crawler ja. Bei Abrufen, die ein Nutzer auslöst, gelten die Regeln laut OpenAI unter Umständen nicht, Perplexity ignoriert sie dort in der Regel. |
| «Eine Sperre wirkt sofort.» | Nein. OpenAI nennt für die Suche rund 24 Stunden, Perplexity bis zu 24 Stunden. |
| «Eine llms.txt steuert die KI-Crawler.» | Nein. Zugang regelt die robots.txt. Eine llms.txt ist eine freiwillige Zusatzdatei, die Google Search nicht nutzt. Mehr unter llms.txt. |
Sperren oder erlauben?
Ob Sie Trainings-Crawler zulassen, ist eine Geschäftsentscheidung. Ein Verlag oder ein Anbieter von kostenpflichtigen Fachinhalten hat gute Gründe, das Training auszuschliessen. Ein Schreiner, eine Arztpraxis oder ein Beratungsbüro verkauft dagegen keine Texte, sondern Leistungen.
Unsere Einschätzung, die keine Regel der Anbieter ist, lautet so. Für die meisten KMU zählt vor allem, dass die Such-Crawler Zugang haben, also Googlebot, OAI-SearchBot, Claude-SearchBot und PerplexityBot. Über die Trainings-Crawler kann man danach in Ruhe entscheiden. Wie die KI-Suche von Google funktioniert, steht unter Google AI Mode.
1'071 Antworten auf 55 Fragen aus der Schweiz, im Schnitt 16,4 Durchgänge pro Frage. Wer den Such-Crawler sperrt, kann zu diesen Quellen nicht gehören. Methode und Grenzen in der Studie zur KI-Sichtbarkeit.
So prüfen Sie Ihre Website
Diese Punkte gehören zu jeder Prüfung des KI-Zugangs. Die meisten können Sie in einer halben Stunde selbst kontrollieren.
- robots.txt aufrufen
- Ihre Domain mit /robots.txt am Ende im Browser öffnen.
- Nach Einträgen für GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot und Google-Extended suchen.
- Prüfen, ob eine allgemeine Regel für alle Crawler ungewollt auch die Such-Crawler sperrt.
- Firewall und CDN
- Manche Hosting- und CDN-Anbieter haben Schalter, die KI-Bots pauschal blockieren, bei Cloudflare seit Juli 2025 standardmässig.
- Klären, ob ein solcher Schalter aktiv ist und welche Bots er betrifft.
- Subdomains
- Jede Subdomain hat ihre eigene robots.txt, etwa ein Shop oder ein Blog unter eigener Adresse.
- Google Search Console
- In den Einstellungen nachsehen, ob «Search generative AI» auf Teilnahme steht.
- Untergeordnete Properties übernehmen die Einstellung standardmässig von der übergeordneten.
- Server-Logs
- Wer Zugriff auf die Logs hat, sieht an der Kennung im User-Agent, welche Crawler tatsächlich vorbeikommen.
- Inhalt im HTML
- Leistungen, Preise und Kontakt sollten im ausgelieferten HTML stehen und nicht erst per JavaScript nachgeladen werden. Laut unserer Praxiserfahrung rendern nicht alle KI-Crawler JavaScript zuverlässig.
Was die robots.txt nicht kann
Die robots.txt ist ein wichtiges Werkzeug, aber kein Schutzschild. Diese Grenzen sollten Sie kennen.
- Sie wirkt nur nach vorne
Eine Sperre betrifft künftige Abrufe. Was bereits gesammelt wurde, holt sie nicht zurück.
- Sie ist freiwillig
Seriöse Crawler halten sich daran. Ein technischer Zwang ist sie nicht.
- IP-Sperren sind unzuverlässig
Anthropic schreibt, dass blockierte IP-Adressen das Lesen der robots.txt verhindern und so keinen sicheren Ausschluss bieten.
- Zugang ist keine Empfehlung
Ein offener Such-Crawler macht Sie nur auffindbar. Ob eine KI Sie nennt, hängt vom Inhalt und vom Ruf Ihrer Firma ab.
Wer diese Seite geschrieben hat
Konstantin Malt hat Malt Consulting 2023 gegründet, damals unter dem Namen Digitalwahl. Er begleitet inhabergeführte Schweizer Unternehmen bei Positionierung, Website und Kundengewinnung und prüft für Kunden, wie sie in Google und in KI-Antworten erscheinen.
- AusbildungBachelor in Betriebswirtschaft, Universität St. Gallen (HSG)
- ErfahrungÜber 120 Schweizer Unternehmen betreut seit 2023
- Geprüft28. Oktober 2026, gegen die Dokumentationen der Anbieter unten
Häufige Fragen zu KI-Crawlern
Kurz beantwortet, mit dem Stand der Anbieter-Dokumentationen vom 28. Oktober 2026.
Was ist GPTBot?
GPTBot ist der Crawler von OpenAI, der Inhalte für das Training der Sprachmodelle sammelt. Für die Suche in ChatGPT nutzt OpenAI einen anderen Crawler, den OAI-SearchBot. Beide lassen sich in der robots.txt getrennt steuern.
Sollte ich GPTBot blockieren?
Das hängt davon ab, ob Sie mit Ihren Texten Geld verdienen. Wer Fachinhalte verkauft, hat Gründe für eine Sperre. Für die meisten KMU ist das Training weniger wichtig als die Suche. Wichtig ist nur, dass Sie nicht aus Versehen auch OAI-SearchBot sperren.
Werde ich ohne GPTBot in ChatGPT noch gefunden?
Ja, sofern OAI-SearchBot Zugang hat. OpenAI schreibt, dass beide Einstellungen unabhängig voneinander sind. Ob ChatGPT Ihre Seite dann tatsächlich als Quelle nennt, kann niemand zusichern.
Welche Crawler nutzt Anthropic für Claude?
Anthropic nennt drei. ClaudeBot für das Training, Claude-SearchBot für die Suchqualität und Claude-User für Abrufe, die ein Nutzer auslöst. Anthropic hält sich laut eigener Angabe an die robots.txt und unterstützt auch die Angabe Crawl-delay.
Brauche ich zusätzlich eine llms.txt?
Nein. Den Zugang der Crawler regelt die robots.txt. Eine llms.txt wird von Google Search nicht genutzt und ist höchstens ein freiwilliges Extra für andere Dienste.
Wie erkenne ich KI-Crawler in meinen Logs?
An der Kennung im User-Agent, etwa GPTBot, OAI-SearchBot, ClaudeBot oder PerplexityBot. OpenAI und Perplexity veröffentlichen zusätzlich ihre IP-Bereiche, damit Sie echte Abrufe von Nachahmern unterscheiden können.
Weiterlesen
Quellen
- OpenAI, «Overview of OpenAI Crawlers», abgerufen am 28.10.2026. developers.openai.com/api/docs/bots
- Anthropic Help Center, «Does Anthropic crawl data from the web, and how can site owners block the crawler?», abgerufen am 28.10.2026. support.anthropic.com/en/articles/8896518
- Perplexity, «Perplexity Crawlers», abgerufen am 28.10.2026. docs.perplexity.ai/guides/bots
- Common Crawl, «CCBot», abgerufen am 29.10.2026. commoncrawl.org/ccbot
- Apple Support, «About Applebot», Abschnitt Applebot-Extended, abgerufen am 29.10.2026. support.apple.com/en-us/119829
- Cloudflare Blog, «Content Independence Day», 1.7.2025. blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation
- Google Crawling Infrastructure, «Google's common crawlers», Abschnitt Google-Extended, Stand 15.10.2026. developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Central, «Introduction to robots.txt», Stand 10.12.2025. developers.google.com/search/docs/crawling-indexing/robots/intro
- Google Search Console Hilfe, «Search generative AI control», abgerufen am 28.10.2026. support.google.com/webmasters/answer/16908024
- Google Search Central, «AI features and your website», Stand 10.12.2025. developers.google.com/search/docs/appearance/ai-features
- Malt Consulting, Studie zur KI-Sichtbarkeit Schweiz, eigene Messung 2026. maltconsulting.ch/ki-sichtbarkeit-studie-schweiz
Sperren Sie die falschen Bots?
Im Erstgespräch schauen wir uns Ihre robots.txt und Ihre Firewall-Einstellungen an und sagen Ihnen, welche KI-Crawler Zugang haben und ob das zu Ihren Zielen passt.
Lieber direkt? +41 78 814 14 58 oder info@maltconsulting.ch