Sperrt bz-berlin.de KI-Crawler?
Stand 03.11.2026: Die robots.txt von bz-berlin.de sperrt 8 von 18 KI-Crawlern, darunter PerplexityBot, Perplexity-User, Applebot-Extended, Amazonbot.
KI-Crawler-Status von bz-berlin.de
Ausgewertet aus der öffentlichen robots.txt von bz-berlin.de, abgerufen am 03.11.2026. „Einzelne Pfade gesperrt“ heißt: Der Bot darf die Website lesen, bestimmte Bereiche sind ausgenommen.
| User-Agent | Firma | Zweck | Status |
|---|---|---|---|
GPTBot | OpenAI | Modell-Training | Erlaubt (einzelne Pfade gesperrt) |
OAI-SearchBot | OpenAI | ChatGPT-Suche | Erlaubt (einzelne Pfade gesperrt) |
ChatGPT-User | OpenAI | Live-Abruf für ChatGPT-Nutzer | Erlaubt (einzelne Pfade gesperrt) |
ClaudeBot | Anthropic | Modell-Training | Erlaubt (einzelne Pfade gesperrt) |
Claude-SearchBot | Anthropic | Claude-Suche | Erlaubt (einzelne Pfade gesperrt) |
Claude-User | Anthropic | Live-Abruf für Claude-Nutzer | Erlaubt (einzelne Pfade gesperrt) |
PerplexityBot | Perplexity | Perplexity-Suche | Gesperrt |
Perplexity-User | Perplexity | Live-Abruf für Perplexity-Nutzer | Gesperrt |
Google-Extended | Gemini-Training und Grounding | Erlaubt (einzelne Pfade gesperrt) | |
Googlebot | Google-Suche und AI Overviews | Erlaubt (einzelne Pfade gesperrt) | |
Bingbot | Microsoft | Bing-Suche und Microsoft Copilot | Erlaubt (einzelne Pfade gesperrt) |
Applebot-Extended | Apple | Apple-Intelligence-Training | Gesperrt |
Meta-ExternalAgent | Meta | Meta-AI-Training | Erlaubt (einzelne Pfade gesperrt) |
Amazonbot | Amazon | Alexa und Amazon-KI | Gesperrt |
DuckAssistBot | DuckDuckGo | DuckAssist-Antworten | Gesperrt |
MistralAI-User | Mistral | Live-Abruf für Le-Chat-Nutzer | Gesperrt |
CCBot | Common Crawl | Offener Datensatz für KI-Training | Gesperrt |
Bytespider | ByteDance | Modell-Training | Gesperrt |
Was das bedeutet
bz-berlin.de sperrt einige KI-Crawler, andere nicht. Die Sichtbarkeit unterscheidet sich daher je nach Assistent, Details in der Tabelle.
Von den 108 Websites der Branche Nachrichten & Medien in unserem KI-Crawler-Report DACH sperren 73% GPTBot vollständig. bz-berlin.de gehört nicht dazu.
KI-Bots sperren ist die eine Seite. Die andere: Schickt KI Ihnen Besucher? Citelytic misst den Traffic aus ChatGPT, Perplexity, Gemini und Copilot auf Ihrer Website.
Kostenlos starten – ohne KreditkarteIhre eigene Website prüfen
Wie steht Ihre Website da? Der kostenlose KI-Sichtbarkeits-Check bewertet sie von 0 bis 100 und zeigt, was Sie verbessern können. Ohne Anmeldung.
Häufige Fragen
Sperrt bz-berlin.de ChatGPT?
Nein. Stand 03.11.2026 ist OAI-SearchBot (ChatGPT-Suche) erlaubt (einzelne pfade gesperrt) und ChatGPT-User erlaubt (einzelne pfade gesperrt). GPTBot, der Trainings-Crawler von OpenAI, ist erlaubt (einzelne pfade gesperrt).
Kann Perplexity bz-berlin.de lesen?
PerplexityBot ist gesperrt und Perplexity-User gesperrt, laut robots.txt vom 03.11.2026.
Hat bz-berlin.de eine llms.txt?
Nein, bei unserer Prüfung am 03.11.2026 haben wir auf bz-berlin.de keine llms.txt gefunden.
Wie werden die Daten erhoben?
Wir rufen die öffentliche robots.txt ab und werten die Regeln für 18 KI-User-Agents für die Startseite aus. Sperren auf Server- oder Firewall-Ebene sieht diese Prüfung nicht.
KI-Bots sperren ist die eine Seite. Die andere: Schickt KI Ihnen Besucher? Citelytic misst den Traffic aus ChatGPT, Perplexity, Gemini und Copilot auf Ihrer Website.
Kostenlos starten – ohne Kreditkarte