KI-Crawler blockieren oder erlauben: die robots.txt-Anleitung

Welche KI-Bots Sie sperren können, ohne aus ChatGPT und Perplexity zu verschwinden, mit fertigen robots.txt-Beispielen.

Trainings-Bots und Antwort-Bots

Die wichtigste Unterscheidung: Trainings-Crawler wie GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), CCBot (Common Crawl) oder Meta-ExternalAgent sammeln Inhalte, um Modelle zu trainieren. Such- und Antwort-Bots wie OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot und Claude-User rufen Seiten ab, um eine konkrete Frage zu beantworten, und verlinken dabei auf Sie.

User-Agent	Firma	Zweck
`GPTBot`	OpenAI	Training
`OAI-SearchBot`	OpenAI	ChatGPT-Suche
`ChatGPT-User`	OpenAI	Live-Abruf für Nutzer
`ClaudeBot`	Anthropic	Training
`Claude-SearchBot`	Anthropic	Claude-Suche
`PerplexityBot`	Perplexity	Perplexity-Suche
`Google-Extended`	Google	Gemini-Training und Grounding
`CCBot`	Common Crawl	Offener Datensatz für KI-Training
`Applebot-Extended`	Apple	Apple-Intelligence-Training
`Bytespider`	ByteDance	Training

Beispiel 1: Training sperren, in KI-Antworten sichtbar bleiben

User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: /

Diese Variante wählen viele Verlage. Wichtig: Google-Extended zu sperren entfernt Sie nicht aus der Google-Suche oder den AI Overviews, dafür ist Googlebot zuständig.

Beispiel 2: Alles erlauben

Wer von KI-Assistenten empfohlen werden will, etwa Online-Shops, Dienstleister oder Software-Anbieter, lässt die robots.txt für KI-Bots einfach offen oder erlaubt sie ausdrücklich.

Beispiel 3: Alle KI-Bots sperren

Möglich, aber dann können ChatGPT, Perplexity und Claude Ihre Seiten nicht mehr live lesen und nicht verlinken. Antworten über Sie stützen sich dann auf alte Trainingsdaten und fremde Quellen.

Bots reingelassen? Jetzt messen, was es bringt: Citelytic zeigt Erwähnungen in KI-Antworten und den Traffic aus ChatGPT & Co.

Kostenlos starten – ohne Kreditkarte

Prüfen, was gerade gilt

Der kostenlose KI-Crawler-Checker liest Ihre robots.txt und zeigt für 18 Bots, ob sie Zugriff haben. Wie es bei bekannten deutschen Websites wie Spiegel, Otto oder Check24 aussieht, steht im KI-Crawler-Report DACH.

Beachten Sie: Die robots.txt ist eine Bitte, keine technische Sperre. Seriöse KI-Firmen halten sich daran.

Häufige Fragen

Verschwinde ich aus Google, wenn ich Google-Extended sperre?

Nein. Google-Extended steuert nur die Nutzung für Gemini. Die Google-Suche und die AI Overviews nutzen Googlebot, der davon unberührt bleibt.

Sollte ich GPTBot sperren?

Wenn Sie nicht möchten, dass Ihre Inhalte ins Training künftiger OpenAI-Modelle einfließen, ja. Lassen Sie dann aber OAI-SearchBot und ChatGPT-User zu, sonst kann ChatGPT Sie nicht mehr zitieren.

Halten sich KI-Crawler an die robots.txt?

Die großen Anbieter wie OpenAI, Anthropic, Google und Perplexity geben an, die robots.txt zu beachten. Eine technische Garantie ist sie nicht.