Crawler (oder Bot, Spider) sind automatisierte Programme, die das Web systematisch durchsuchen und Inhalte für ihren jeweiligen Index erfassen. 2026 ist die Crawler-Landschaft erweitert: neben Googlebot und Bingbot crawlen GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot und Google-Extended für KI-Antwortsysteme. Wer für SEO und GEO sichtbar sein will, muss allen relevanten Crawlern Zugang gewähren, über robots.txt, Sitemaps und technische Performance.
Auf einen Blick
- Crawler 2026: Googlebot · Bingbot · GPTBot · ClaudeBot · PerplexityBot · Google-Extended.
- robots.txt darf AI-Crawler nicht versehentlich blockieren, bei SW-Audits in 33 % der Fälle gefunden.
- Crawl-Budget ist endlich, Priorisierung über Internal-Linking und Sitemap-Struktur.
- Mobile-First-Crawler seit 2019 Default, Mobile-Version ist die indexierte Version.
- Render-Budget: JavaScript-Rendering 2-Phasen, kann Index-Probleme verursachen.
- Crawl-Frequenz korreliert mit Domain-Authority und Update-Frequenz.
Welche Crawler 2026 wichtig sind
Sechs Crawler bestimmen 2026 deine Sichtbarkeit. Googlebot ist weiterhin der wichtigste für klassische Suche. Bingbot wird durch ChatGPT-Microsoft-Integration aufgewertet. GPTBot indexiert für ChatGPT-Suchergebnisse seit Sommer 2023. ClaudeBot crawlt für Claude und Anthropic-Suchergebnisse. PerplexityBot indexiert für Perplexity. Google-Extended ist Googles separater Crawler für Bard/Gemini-Training und AI Overviews, er kann separat blockiert werden, ohne klassische Google-Indexierung zu beeinflussen.
Wichtig: bei SW-Audits finden wir in 33 Prozent der Mandate versehentlich blockierte AI-Crawler in der robots.txt, meist Copy-Paste-Fehler aus alten Templates. Resultat: Pages crawlen, aber werden in KI-Antwortsystemen nicht zitiert.
33 %blockieren versehentlich AI-Crawler33 Prozent der SW-Mandate hatten beim Erst-Audit versehentlich blockierte AI-Crawler in der robots.txt, meist alte Template-Reste.
Wie Crawler arbeiten
Crawler folgen einem standardisierten Prozess: Erstens robots.txt lesen für Crawl-Regeln. Zweitens Sitemap.xml laden für URL-Liste. Drittens URLs nach Priorität abarbeiten (Crawl-Budget). Viertens jede URL fetchen, HTML parsen, JavaScript rendern (für moderne Crawler), Inhalte extrahieren. Fünftens neue Links in Crawl-Queue einreihen. Sechstens an Index-Pipeline weitergeben, wo entschieden wird, ob die URL indexiert wird.
Render-Budget ist eine eigene Engpassressource: Googlebot rendert JavaScript in einer zweiten Phase nach dem initialen HTML-Crawl. Bei JavaScript-heavy Sites entsteht oft eine Verzögerung zwischen Crawl und Index, manchmal Tage. Server-Side Rendering oder Static Generation lösen das Problem.
„Crawlability ist keine technische Selbstverständlichkeit mehr, sie ist 2026 strategisch, weil sechs verschiedene Crawler unterschiedliche Antwort-Systeme füttern.“
Aleyda Solis, Founder Orainti, SEOkomm Salzburg 2025
Crawl-Budget verstehen und steuern
Crawl-Budget ist die Anzahl URLs, die ein Crawler pro Zeiteinheit fetcht. Bei großen Sites (10.000+ Pages) ist es ein kritischer Engpass. Vier Hebel: Erstens Site-Performance, schnelle Server, niedrige TTFB-Latenz erlauben mehr Crawl pro Sekunde. Zweitens Internal-Linking, wichtige Pages mit vielen internen Inbounds werden priorisiert. Drittens Sitemap-Struktur, XML-Sitemaps mit lastmod-Timestamps signalisieren Updates. Viertens Duplicate-Content-Reduktion via Canonical Tags.
[ 6 CRAWLER, SW-PFLICHT 2026 ]01GooglebotKlassische Suche, Mobile-First.02BingbotChatGPT-Microsoft-Integration.03GPTBotOpenAI ChatGPT Suchergebnisse.04ClaudeBotAnthropic Claude Suche.05PerplexityBotPerplexity AI Suche.06Google-ExtendedBard/Gemini + AI Overviews.Validiert in SW-Mandate-Server-Logs Q1 2026.
Wie du Crawl-Probleme diagnostizierst
Google Search Console Coverage-Report ist der erste Anlaufpunkt: Pages mit „Crawled, currently not indexed“, „Discovered, currently not indexed“ oder „Blocked by robots.txt“ zeigen Crawl-Issues. URL Inspection Tool für einzelne URLs. Screaming Frog für vollständige Site-Crawls mit Audit-Reports. Bei AI-Crawler-Issues: log-Server-Files nach „GPTBot/1.0″, „ClaudeBot/1.0″, „PerplexityBot/1.0″ User-Agents filtern.
2 PhasenJavaScript-RenderingGooglebot rendert JavaScript in einer zweiten Phase nach dem initialen HTML-Crawl, Verzögerung bei JS-heavy Sites möglich.
Was viele falsch verstehen
| Anti-Pattern | Bessere Praxis |
|---|---|
| AI-Crawler in robots.txt blockieren | Allen relevanten Crawlern Zugang gewähren, sonst keine GEO-Sichtbarkeit. |
| Sitemap nicht aktuell halten | XML-Sitemap mit lastmod-Timestamps regelmäßig pflegen. |
| Crawl-Budget durch Duplicate-Content verschwenden | Canonical Tags, noindex auf Filter-Pages, URL-Parameter sauber. |
| JavaScript-Rendering ignorieren | SSR oder Static Generation für kritische Pages. |
| Server-Performance ignorieren | TTFB < 200 ms erlaubt mehr Crawl-Volumen. |
Was du jetzt tun kannst
- robots.txt prüfen: sind GPTBot, ClaudeBot, PerplexityBot, Google-Extended zugelassen?
- GSC Coverage-Report ziehen: alle „Crawled, currently not indexed“ und „Blocked“ Pages auflisten und Ursachen klären.
- Sitemap.xml prüfen: vollständig, aktuell, mit lastmod-Timestamps.
Verwandte Begriffe rund um SEO-Analyse
Häufige Fragen
Was ist ein Crawler?
Ein Crawler (oder Bot, Spider) ist ein automatisiertes Programm, das das Web systematisch durchsucht und Inhalte für seinen Index erfasst. Suchmaschinen-Crawler wie Googlebot, Bingbot oder GPTBot folgen Links von Page zu Page und übergeben gesammelte Daten an die Index-Pipeline.
Welche Crawler sind 2026 wichtig?
Sechs Crawler: Googlebot (klassische Suche), Bingbot (ChatGPT-Microsoft), GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity), Google-Extended (Bard/Gemini + AI Overviews). Alle müssen Zugang haben für vollständige SEO+GEO-Sichtbarkeit.
Was ist Crawl-Budget?
Crawl-Budget ist die Anzahl URLs, die ein Crawler pro Zeiteinheit fetcht. Bei großen Sites kritischer Engpass. Wird gesteuert über Site-Performance, Internal-Linking, Sitemap-Struktur und Duplicate-Content-Reduktion.
Wie steuere ich Crawler über robots.txt?
robots.txt im Root deiner Domain mit Disallow/Allow-Regeln pro User-Agent. Achtung: blockieren von AI-Crawlern kostet GEO-Sichtbarkeit. Bei SW-Audits in 33 Prozent der Mandate findet sich versehentliche AI-Crawler-Blockade.
Wie diagnostiziere ich Crawl-Probleme?
Google Search Console Coverage-Report als erster Anlaufpunkt. URL Inspection Tool für einzelne URLs. Screaming Frog für vollständige Crawls. Bei AI-Crawler-Issues: Server-Logs nach User-Agent filtern.
Was ist Mobile-First-Crawling?
Seit 2019 indexiert Google primär die Mobile-Version einer Website. Wenn Desktop und Mobile unterschiedliche Inhalte zeigen, ist Mobile die indexierte Variante. Mobile-Optimierung ist daher Pflicht, auch für Desktop-Rankings.
Werden meine JavaScript-Inhalte gecrawlt?
Googlebot rendert JavaScript in einer zweiten Phase nach initialem HTML-Crawl. Funktioniert grundsätzlich, kann aber zu Verzögerungen führen. Bei kritischen Pages: Server-Side Rendering oder Static Generation für Crawl-Robustheit.
Wie blockiere ich Crawler gezielt?
robots.txt mit „User-agent: Bot-Name“ gefolgt von „Disallow: /“. Beispiel für Google-Extended-Blockade ohne klassische Google-Indexierung zu betreffen: nur „User-agent: Google-Extended“ und „Disallow: /“, Googlebot bleibt zugelassen.
QUELLEN
- Google Search Central, Crawling and Indexing
- OpenAI GPTBot Dokumentation
- Anthropic Claude Web Search
- SichtbarerWerden Server-Log-Audits (Q1 2026, intern)
