Sperrt frag-mutti.de KI-Crawler?
Stand 03.11.2026: Die robots.txt von frag-mutti.de sperrt 8 von 18 KI-Crawlern, darunter GPTBot, ClaudeBot, Google-Extended, Applebot-Extended.
KI-Crawler-Status von frag-mutti.de
Ausgewertet aus der öffentlichen robots.txt von frag-mutti.de, abgerufen am 03.11.2026. „Einzelne Pfade gesperrt“ heißt: Der Bot darf die Website lesen, bestimmte Bereiche sind ausgenommen.
| User-Agent | Firma | Zweck | Status |
|---|---|---|---|
GPTBot | OpenAI | Modell-Training | Gesperrt |
OAI-SearchBot | OpenAI | ChatGPT-Suche | Erlaubt |
ChatGPT-User | OpenAI | Live-Abruf für ChatGPT-Nutzer | Erlaubt |
ClaudeBot | Anthropic | Modell-Training | Gesperrt |
Claude-SearchBot | Anthropic | Claude-Suche | Erlaubt |
Claude-User | Anthropic | Live-Abruf für Claude-Nutzer | Erlaubt |
PerplexityBot | Perplexity | Perplexity-Suche | Erlaubt |
Perplexity-User | Perplexity | Live-Abruf für Perplexity-Nutzer | Erlaubt |
Google-Extended | Gemini-Training und Grounding | Gesperrt | |
Googlebot | Google-Suche und AI Overviews | Erlaubt | |
Bingbot | Microsoft | Bing-Suche und Microsoft Copilot | Erlaubt |
Applebot-Extended | Apple | Apple-Intelligence-Training | Gesperrt |
Meta-ExternalAgent | Meta | Meta-AI-Training | Gesperrt |
Amazonbot | Amazon | Alexa und Amazon-KI | Gesperrt |
DuckAssistBot | DuckDuckGo | DuckAssist-Antworten | Erlaubt |
MistralAI-User | Mistral | Live-Abruf für Le-Chat-Nutzer | Erlaubt |
CCBot | Common Crawl | Offener Datensatz für KI-Training | Gesperrt |
Bytespider | ByteDance | Modell-Training | Gesperrt |
Was das bedeutet
frag-mutti.de folgt einem Muster, das viele Verlage nutzen: Trainings-Crawler wie GPTBot, ClaudeBot, Google-Extended bleiben draußen, Such- und Live-Agenten dürfen rein. So kann frag-mutti.de weiterhin in Antworten von ChatGPT oder Perplexity zitiert und verlinkt werden.
Von den 31 Websites der Branche Nachschlagewerke & Wissen in unserem KI-Crawler-Report DACH sperren 16% GPTBot vollständig. frag-mutti.de gehört dazu.
KI-Bots sperren ist die eine Seite. Die andere: Schickt KI Ihnen Besucher? Citelytic misst den Traffic aus ChatGPT, Perplexity, Gemini und Copilot auf Ihrer Website.
Kostenlos starten – ohne KreditkarteIhre eigene Website prüfen
Wie steht Ihre Website da? Der kostenlose KI-Sichtbarkeits-Check bewertet sie von 0 bis 100 und zeigt, was Sie verbessern können. Ohne Anmeldung.
Häufige Fragen
Sperrt frag-mutti.de ChatGPT?
Nein. Stand 03.11.2026 ist OAI-SearchBot (ChatGPT-Suche) erlaubt und ChatGPT-User erlaubt. GPTBot, der Trainings-Crawler von OpenAI, ist gesperrt.
Kann Perplexity frag-mutti.de lesen?
PerplexityBot ist erlaubt und Perplexity-User erlaubt, laut robots.txt vom 03.11.2026.
Hat frag-mutti.de eine llms.txt?
Nein, bei unserer Prüfung am 03.11.2026 haben wir auf frag-mutti.de keine llms.txt gefunden.
Wie werden die Daten erhoben?
Wir rufen die öffentliche robots.txt ab und werten die Regeln für 18 KI-User-Agents für die Startseite aus. Sperren auf Server- oder Firewall-Ebene sieht diese Prüfung nicht.
KI-Bots sperren ist die eine Seite. Die andere: Schickt KI Ihnen Besucher? Citelytic misst den Traffic aus ChatGPT, Perplexity, Gemini und Copilot auf Ihrer Website.
Kostenlos starten – ohne Kreditkarte