Was passiert beim Crawling? Googlebot, Indexierung und Crawlability

Was passiert beim Crawling? So entdeckt und verarbeitet Google deine URLs

Crawling ist die Phase, in der Googlebot eine bekannte URL abruft und deren Inhalte sowie Links verarbeitet. Crawling ist aber nicht dasselbe wie Indexierung: Eine URL kann Google bekannt sein, ohne bereits gecrawlt zu werden, und eine gecrawlte Seite muss nicht automatisch im Google-Index landen.

Wie entdeckt Google neue URLs?

Google kann URLs unter anderem über bereits bekannte interne oder externe Links und über XML-Sitemaps entdecken. Genau deshalb ist eine saubere interne Verlinkung so wichtig: Sie hilft nicht nur Nutzern, sondern auch Crawlern, Zusammenhänge und neue Inhalte zu finden.

Eine Sitemap ist eine zusätzliche Quelle für URL-Entdeckung. Sie garantiert jedoch weder Crawling noch Indexierung. Welche Sitemap-Typen es gibt, erklären wir unter Arten von Sitemaps.

Was macht Googlebot beim Abruf?

Wenn Googlebot eine URL crawlt, ruft er die Ressource vom Server ab. Dabei spielen unter anderem HTTP-Statuscode, Servererreichbarkeit, robots.txt-Regeln und die Antwortzeit eine Rolle. Bei modernen Websites rendert Google Seiten außerdem, um JavaScript-Inhalte verarbeiten zu können.

Crawling, Rendering und Indexierung sind unterschiedliche Schritte

1. Entdeckung: Google erfährt, dass eine URL existiert.
2. Crawling: Googlebot ruft die URL ab.
3. Rendering/Verarbeitung: Inhalte und gegebenenfalls JavaScript werden verarbeitet.
4. Indexierung: Google bewertet, verarbeitet und konsolidiert die Inhalte für den Index.
5. Ausspielung: Eine indexierte Seite kann für passende Suchanfragen in Suchergebnissen erscheinen.

Dass eine URL in der Search Console als „Gefunden – zurzeit nicht indexiert“ erscheint, bedeutet deshalb etwas anderes als „Gecrawlt – zurzeit nicht indexiert“.

Was bedeutet „Gefunden – zurzeit nicht indexiert“?

Google kennt die URL, hat sie aber nach dem gespeicherten Zustand noch nicht gecrawlt oder weiterverarbeitet. Bei vielen solchen URLs solltest du nicht automatisch jede einzelne zur Indexierung einreichen. Prüfe stattdessen:

• Ist die Seite wirklich wichtig?
• Hat sie mindestens einen sinnvollen internen Eingang?
• Ist sie in der Sitemap?
• Gibt es viele ähnliche oder konkurrierende Seiten?
• Ist die Serverantwort stabil?
• Erzeugt die Website unnötig viele technische URLs?

Was bedeutet „Gecrawlt – zurzeit nicht indexiert“?

Hier hat Google die Seite bereits abgerufen, sie aber nicht in den Index aufgenommen. Dann liegt der Schwerpunkt stärker auf Inhalt, Differenzierung, Canonicalisierung, Qualität und dem Gesamtwert der URL – nicht nur auf der Auffindbarkeit.

Für die systematische Diagnose hilft unser Leitfaden Warum ist meine Seite nicht bei Google?.

robots.txt ist kein zuverlässiges noindex-Werkzeug

robots.txt steuert, welche URLs Crawler abrufen dürfen. Wenn du eine öffentlich erreichbare Seite aus dem Google-Index heraushalten möchtest, ist ein `noindex`-Meta-Tag oder entsprechender HTTP-Header der passendere Mechanismus. Wichtig: Google muss die Seite crawlen können, um ein `noindex` auf der Seite zu sehen.

HTTP-Statuscodes beeinflussen Crawling und Verarbeitung

Ein sauberer Statuscode ist elementar:

• 200: Ressource erfolgreich ausgeliefert.
• 301/308: dauerhaft verschoben.
• 302/307: temporär verschoben.
• 404/410: Ressource nicht vorhanden.
• 5xx: Serverfehler – bei Häufung kann Google die Abrufrate reduzieren.

Eine Einführung in nicht gefundene URLs findest du unter 404-Fehler.

Crawlbare interne Links

Google sollte wichtige Seiten über echte Links erreichen können. Ein Link sollte auf eine konkrete URL verweisen. Rein visuelle Klickflächen oder JavaScript-Interaktionen ohne zuverlässig crawlbares Ziel können die Entdeckung erschweren.

Canonical und Crawling

Mehrere URL-Varianten mit sehr ähnlichem Inhalt können unnötige Crawling-Ressourcen verbrauchen und Signale verteilen. Canonicals, Redirects und eine konsistente interne Verlinkung helfen, die bevorzugte URL deutlich zu machen. Grundlagen dazu findest du im Artikel Was ist eine URL?.

Ist Crawl Budget für jede Website ein großes Problem?

Bei kleinen und mittelgroßen Websites ist eine komplizierte Crawl-Budget-Optimierung meist nicht der erste Hebel. Wichtiger sind saubere URLs, stabile Serverantworten, sinnvolle interne Links und das Vermeiden großer Mengen nutzloser Varianten. Bei sehr großen Websites mit vielen Millionen URLs kann Crawl Budget dagegen eine eigene technische Disziplin werden.

Wie könnte ein Crawlability-Checker funktionieren?

Ein späterer RS-Crawlability-Checker könnte eine URL oder kleine URL-Liste prüfen und unter anderem ausgeben:

• HTTP-Statuscode und Redirect-Kette,
• robots.txt-Erreichbarkeit,
• Meta Robots / X-Robots-Tag,
• Canonical,
• Vorhandensein in XML-Sitemap,
• interne eingehende Links,
• Content-Type,
• Serverantwortzeit,
• crawlbare Links auf der Seite,
• Hinweise auf Duplicate-/Parameter-Varianten.

Mit Search-Console-Anbindung könnte zusätzlich der aktuelle Google-Status angezeigt werden. Ohne diese Verbindung darf ein Tool nicht behaupten, eine URL sei „bei Google indexiert“, nur weil sie technisch crawlbar ist.

Fazit

Crawling beantwortet zunächst die Frage, ob Google eine URL entdecken und abrufen kann. Indexierung ist der nächste, separate Schritt. Wer beide Phasen vermischt, optimiert häufig an der falschen Stelle. Gerade bei größeren Mengen nicht indexierter URLs lohnt sich deshalb zuerst eine saubere Klassifizierung nach Ursache und Wert der Seite.