Sperrt dw.com KI-Crawler?
Stand 03.11.2026: Die robots.txt von dw.com sperrt 12 von 18 KI-Crawlern, darunter GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot.
KI-Crawler-Status von dw.com
Ausgewertet aus der öffentlichen robots.txt von dw.com, abgerufen am 03.11.2026. „Einzelne Pfade gesperrt“ heißt: Der Bot darf die Website lesen, bestimmte Bereiche sind ausgenommen.
| User-Agent | Firma | Zweck | Status |
|---|---|---|---|
GPTBot | OpenAI | Modell-Training | Gesperrt |
OAI-SearchBot | OpenAI | ChatGPT-Suche | Gesperrt |
ChatGPT-User | OpenAI | Live-Abruf für ChatGPT-Nutzer | Gesperrt |
ClaudeBot | Anthropic | Modell-Training | Gesperrt |
Claude-SearchBot | Anthropic | Claude-Suche | Erlaubt (einzelne Pfade gesperrt) |
Claude-User | Anthropic | Live-Abruf für Claude-Nutzer | Erlaubt (einzelne Pfade gesperrt) |
PerplexityBot | Perplexity | Perplexity-Suche | Gesperrt |
Perplexity-User | Perplexity | Live-Abruf für Perplexity-Nutzer | Gesperrt |
Google-Extended | Gemini-Training und Grounding | Gesperrt | |
Googlebot | Google-Suche und AI Overviews | Erlaubt (einzelne Pfade gesperrt) | |
Bingbot | Microsoft | Bing-Suche und Microsoft Copilot | Erlaubt (einzelne Pfade gesperrt) |
Applebot-Extended | Apple | Apple-Intelligence-Training | Gesperrt |
Meta-ExternalAgent | Meta | Meta-AI-Training | Gesperrt |
Amazonbot | Amazon | Alexa und Amazon-KI | Gesperrt |
DuckAssistBot | DuckDuckGo | DuckAssist-Antworten | Erlaubt (einzelne Pfade gesperrt) |
MistralAI-User | Mistral | Live-Abruf für Le-Chat-Nutzer | Erlaubt (einzelne Pfade gesperrt) |
CCBot | Common Crawl | Offener Datensatz für KI-Training | Gesperrt |
Bytespider | ByteDance | Modell-Training | Gesperrt |
Was das bedeutet
dw.com sperrt sowohl Trainings- als auch KI-Such-Crawler. ChatGPT und Perplexity können die Seiten kaum live lesen. Antworten über diese Inhalte stützen sich dann eher auf ältere Trainingsdaten oder fremde Quellen, statt auf dw.com zu verlinken.
Von den 108 Websites der Branche Nachrichten & Medien in unserem KI-Crawler-Report DACH sperren 73% GPTBot vollständig. dw.com gehört dazu.
KI-Bots sperren ist die eine Seite. Die andere: Schickt KI Ihnen Besucher? Citelytic misst den Traffic aus ChatGPT, Perplexity, Gemini und Copilot auf Ihrer Website.
Kostenlos starten – ohne KreditkarteIhre eigene Website prüfen
Wie steht Ihre Website da? Der kostenlose KI-Sichtbarkeits-Check bewertet sie von 0 bis 100 und zeigt, was Sie verbessern können. Ohne Anmeldung.
Häufige Fragen
Sperrt dw.com ChatGPT?
Ja. Stand 03.11.2026 ist OAI-SearchBot (ChatGPT-Suche) gesperrt und ChatGPT-User gesperrt. GPTBot, der Trainings-Crawler von OpenAI, ist gesperrt.
Kann Perplexity dw.com lesen?
PerplexityBot ist gesperrt und Perplexity-User gesperrt, laut robots.txt vom 03.11.2026.
Hat dw.com eine llms.txt?
Nein, bei unserer Prüfung am 03.11.2026 haben wir auf dw.com keine llms.txt gefunden.
Wie werden die Daten erhoben?
Wir rufen die öffentliche robots.txt ab und werten die Regeln für 18 KI-User-Agents für die Startseite aus. Sperren auf Server- oder Firewall-Ebene sieht diese Prüfung nicht.
KI-Bots sperren ist die eine Seite. Die andere: Schickt KI Ihnen Besucher? Citelytic misst den Traffic aus ChatGPT, Perplexity, Gemini und Copilot auf Ihrer Website.
Kostenlos starten – ohne Kreditkarte