Was sind AI Crawler?
AI Crawler sind Bots, die das Web im Auftrag von KI-Unternehmen durchsuchen. Sie sammeln Daten für das Training von LLMs oder für Echtzeit-Suchanfragen. Die wichtigsten sind:
- GPTBot: OpenAIs Crawler für ChatGPT
- ChatGPT-User: ChatGPTs Browse-Funktion
- PerplexityBot: Perplexitys Such-Crawler
- Google-Extended: Googles AI-Training-Crawler
- ClaudeBot: Anthropics Crawler
- Bytespider: ByteDances Crawler (TikTok)
Die robots.txt Entscheidung
Sie haben grundsätzlich zwei Optionen:
Option 1: AI Crawler erlauben
Vorteile: Maximale Chance, in KI-Antworten genannt zu werden. Ihre Inhalte können als Trainingsdaten dienen und Ihre Marke stärken.
Option 2: AI Crawler blockieren
Vorteile: Kontrolle über Datennutzung, keine Verwendung für KI-Training. Nachteile: Geringere KI-Sichtbarkeit.
robots.txt Syntax für AI Crawler
Alle AI Crawler erlauben (empfohlen für GEO)
# AI Crawlers allowed User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: ClaudeBot Allow: /
Alle AI Crawler blockieren
# AI Crawlers blocked User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: ClaudeBot Disallow: /
Selektive Freigabe
# Selective AI access User-agent: GPTBot Disallow: /private/ Disallow: /admin/ Allow: / User-agent: PerplexityBot Allow: /blog/ Allow: /services/ Disallow: /
Empfehlungen für GEO
Für maximale KI-Sichtbarkeit empfehlen wir:
- Erlauben Sie wichtige AI Crawler (GPTBot, ChatGPT-User, PerplexityBot)
- Blockieren Sie sensible Bereiche (Admin, private Daten, API)
- Behalten Sie Google-Extended für AI Overviews-Sichtbarkeit
- Überprüfen Sie regelmäßig neue AI Crawler
Wichtige Hinweise
- robots.txt ist eine Empfehlung, keine Garantie - nicht alle Bots respektieren sie
- Blockierte Crawler können Ihre Seite nicht für Echtzeit-Anfragen nutzen
- Trainingsdaten-Crawler zu blockieren verhindert nicht rückwirkend die Nutzung
- Testen Sie Ihre robots.txt mit Online-Tools
Fazit
Die robots.txt-Konfiguration für AI Crawler ist eine wichtige Entscheidung für Ihre GEO-Strategie. Für maximale KI-Sichtbarkeit empfehlen wir, die wichtigsten AI Crawler zu erlauben und nur sensible Bereiche zu blockieren.