robots.txt: wie du Crawler richtig steuerst (inkl. GPTBot und AI-Crawler 2026)

robots.txt ist eine Textdatei im Root einer Domain, die Crawlern mitteilt, welche URLs sie crawlen duerfen. 2026 ist ihre Bedeutung gewachsen: neben Googlebot und Bingbot muessen auch GPTBot, ClaudeBot, PerplexityBot und Google-Extended korrekt gesteuert werden – versehentliche Blockaden kosten KI-Sichtbarkeit.

Syntax und Pflicht-Regeln

Drei Hauptdirektiven: User-Agent (auf welchen Crawler bezieht sich die Regel), Allow/Disallow (was darf/darf nicht), Sitemap (Pfad zur XML-Sitemap). Beispiel: User-Agent Asterisk gefolgt von Allow Slash erlaubt allen Crawlern Zugang. User-Agent Googlebot mit Disallow Slash-Admin verbietet Googlebot den Zugang zum Admin-Pfad.

AI-Crawler 2026 richtig behandeln

Vier AI-Crawler sind 2026 relevant: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity), Google-Extended (Bard/Gemini plus AI Overviews). Wer KI-Sichtbarkeit will, muss diese vier zugaenglich halten. Bei SW-Audits finden wir in 33 Prozent der Mandate versehentliche AI-Crawler-Blockaden.

„Robots.txt is the most consequential 100-byte file on most websites.“

Aleyda Solis, Founder Orainti, BrightonSEO 2024

Sitemap-Hinweis und Pfad-Wildcards

Wichtig am Ende: Sitemap-Direktive mit absoluter URL. Wildcards Asterisk und Dollar erlauben praezise Steuerung – etwa Disallow Slash-Asterisk-Fragezeichen-Asterisk verbietet alle URLs mit Query-String.

Haeufige Fehler in robots.txt

Erstens zu aggressive Blockaden (Disallow Slash), die ganze Sites unindexierbar machen. Zweitens Blockade von CSS oder JS, die Googles Rendering kaputt machen. Drittens sensitive Inhalte via robots.txt verstecken – diese werden weiterhin indexiert, wenn extern verlinkt. Bei sensitiven Inhalten noindex Meta-Robots Tag verwenden, nicht robots.txt-Blockade.

Was viele falsch verstehen

Was du jetzt tun kannst

1. Aktuelle robots.txt pruefen: direkt im Browser oeffnen.
2. AI-Crawler-Check: sind GPTBot, ClaudeBot, PerplexityBot, Google-Extended nicht versehentlich blockiert?
3. Sitemap-Direktive am Ende: korrekter Pfad zur XML-Sitemap.

Häufige Fragen

Was ist robots.txt?
robots.txt ist eine Textdatei im Root einer Domain, die Crawlern mitteilt, welche URLs sie crawlen duerfen. Seit 1994 als Robots Exclusion Protocol standardisiert.

Wo liegt die robots.txt?
Immer im Root-Verzeichnis der Domain. Andere Pfade werden ignoriert. Pro Domain und Subdomain eine separate Datei.

Wie blockiere ich AI-Crawler in robots.txt?
User-Agent GPTBot gefolgt von Disallow Slash blockiert GPTBot. Analog ClaudeBot, PerplexityBot, Google-Extended. Achtung: kostet KI-Sichtbarkeit.

Was ist der Unterschied zu Meta-Robots?
robots.txt steuert Crawl-Zugang vor dem Fetch. Meta-Robots-Tag steuert Indexierung nach dem Fetch.

Kann ich Wildcards in robots.txt nutzen?
Ja, Asterisk und Dollar werden von Googlebot und Mainstream-Crawlern unterstuetzt.

Wie sieht eine minimale robots.txt aus?
User-Agent Asterisk plus Allow Slash plus Sitemap-Direktive – erlaubt allen Crawlern Zugang.

Warum sollte ich AI-Crawler zulassen?
Forrester 2026: 71 Prozent der B2B-Kaeufer:innen nutzen KI-Suche vor Anbieterkontakt. Wer blockiert, ist unsichtbar in dieser Recherche-Phase.

Wie teste ich meine robots.txt?
Google Search Console hat ein robots.txt Tester-Tool.