Sperrt autoscout24.de KI-Crawler?
Stand 03.11.2026: Die robots.txt von autoscout24.de sperrt 5 von 18 KI-Crawlern, darunter GPTBot, ClaudeBot, Google-Extended, Applebot-Extended.
KI-Crawler-Status von autoscout24.de
Ausgewertet aus der öffentlichen robots.txt von autoscout24.de, abgerufen am 03.11.2026. „Einzelne Pfade gesperrt“ heißt: Der Bot darf die Website lesen, bestimmte Bereiche sind ausgenommen.
| User-Agent | Firma | Zweck | Status |
|---|---|---|---|
GPTBot | OpenAI | Modell-Training | Gesperrt |
OAI-SearchBot | OpenAI | ChatGPT-Suche | Erlaubt (einzelne Pfade gesperrt) |
ChatGPT-User | OpenAI | Live-Abruf für ChatGPT-Nutzer | Erlaubt (einzelne Pfade gesperrt) |
ClaudeBot | Anthropic | Modell-Training | Gesperrt |
Claude-SearchBot | Anthropic | Claude-Suche | Erlaubt (einzelne Pfade gesperrt) |
Claude-User | Anthropic | Live-Abruf für Claude-Nutzer | Erlaubt (einzelne Pfade gesperrt) |
PerplexityBot | Perplexity | Perplexity-Suche | Erlaubt (einzelne Pfade gesperrt) |
Perplexity-User | Perplexity | Live-Abruf für Perplexity-Nutzer | Erlaubt (einzelne Pfade gesperrt) |
Google-Extended | Gemini-Training und Grounding | Gesperrt | |
Googlebot | Google-Suche und AI Overviews | Erlaubt (einzelne Pfade gesperrt) | |
Bingbot | Microsoft | Bing-Suche und Microsoft Copilot | Erlaubt (einzelne Pfade gesperrt) |
Applebot-Extended | Apple | Apple-Intelligence-Training | Gesperrt |
Meta-ExternalAgent | Meta | Meta-AI-Training | Erlaubt (einzelne Pfade gesperrt) |
Amazonbot | Amazon | Alexa und Amazon-KI | Erlaubt (einzelne Pfade gesperrt) |
DuckAssistBot | DuckDuckGo | DuckAssist-Antworten | Erlaubt (einzelne Pfade gesperrt) |
MistralAI-User | Mistral | Live-Abruf für Le-Chat-Nutzer | Erlaubt (einzelne Pfade gesperrt) |
CCBot | Common Crawl | Offener Datensatz für KI-Training | Gesperrt |
Bytespider | ByteDance | Modell-Training | Erlaubt (einzelne Pfade gesperrt) |
Was das bedeutet
autoscout24.de folgt einem Muster, das viele Verlage nutzen: Trainings-Crawler wie GPTBot, ClaudeBot, Google-Extended bleiben draußen, Such- und Live-Agenten dürfen rein. So kann autoscout24.de weiterhin in Antworten von ChatGPT oder Perplexity zitiert und verlinkt werden.
Von den 80 Websites der Branche E-Commerce & Handel in unserem KI-Crawler-Report DACH sperren 9% GPTBot vollständig. autoscout24.de gehört dazu.
KI-Bots sperren ist die eine Seite. Die andere: Schickt KI Ihnen Besucher? Citelytic misst den Traffic aus ChatGPT, Perplexity, Gemini und Copilot auf Ihrer Website.
Kostenlos starten – ohne KreditkarteIhre eigene Website prüfen
Wie steht Ihre Website da? Der kostenlose KI-Sichtbarkeits-Check bewertet sie von 0 bis 100 und zeigt, was Sie verbessern können. Ohne Anmeldung.
Häufige Fragen
Sperrt autoscout24.de ChatGPT?
Nein. Stand 03.11.2026 ist OAI-SearchBot (ChatGPT-Suche) erlaubt (einzelne pfade gesperrt) und ChatGPT-User erlaubt (einzelne pfade gesperrt). GPTBot, der Trainings-Crawler von OpenAI, ist gesperrt.
Kann Perplexity autoscout24.de lesen?
PerplexityBot ist erlaubt (einzelne pfade gesperrt) und Perplexity-User erlaubt (einzelne pfade gesperrt), laut robots.txt vom 03.11.2026.
Hat autoscout24.de eine llms.txt?
Nein, bei unserer Prüfung am 03.11.2026 haben wir auf autoscout24.de keine llms.txt gefunden.
Wie werden die Daten erhoben?
Wir rufen die öffentliche robots.txt ab und werten die Regeln für 18 KI-User-Agents für die Startseite aus. Sperren auf Server- oder Firewall-Ebene sieht diese Prüfung nicht.
KI-Bots sperren ist die eine Seite. Die andere: Schickt KI Ihnen Besucher? Citelytic misst den Traffic aus ChatGPT, Perplexity, Gemini und Copilot auf Ihrer Website.
Kostenlos starten – ohne Kreditkarte