AI SEO In Detail › Modul B · Analyse des Suchtraffics › Folge 17
Crawling, Indexierung, Ranking: Crawl- und Index-Signale lesen
Teile den SEO-Funnel in Crawling, Indexierung und Ranking. Lies Search Console und Server-Logs, um zu sehen, warum Seiten gecrawlt, aber nicht indexiert werden.
Beim Abspielen wird das Video von YouTube geladen (erweiterter Datenschutzmodus). Das Video ist auf Englisch, mit Untertiteln in deiner Sprache.
Funnel Crawling > Indexierung > Ranking: Worksheet + Skript
Ein Worksheet, das Korpus, gecrawlte, indexierte Seiten und Impressionen als vier getrennte Zahlen misst und dir zeigt, welcher Schritt schwach ist, dazu index_sample.py: stratifizierte Stichprobe per URL Inspection mit Kontrollseite, Nachprüfliste und Trendverlauf. Kostenlose Search Console API, 0 $.
- Vier Zahlen, nicht eine — Korpus (eindeutige URLs in der Live-Sitemap), gecrawlt (per IP verifizierter Googlebot, aus den Analytics deines CDN), indexiert (eine Stichprobe) und Seiten mit Impressionen. Jede Ebene hat eine andere Ursache, wenn sie schwach ist.
- Den Index per Stichprobe prüfen, nicht der Sitemap-Zahl trauen — Teile deine URLs in Strata ein, prüfe einmal pro Woche aus jedem eine feste Zufallszahl und multipliziere jeden Anteil mit der Größe seines Stratums. Nimm eine Kontrollseite auf, von der du weißt, dass sie indexiert ist: Wirkt sie nicht indexiert, hatte die API einen schlechten Tag.
- Die Form lesen, jede Woche — Eine Verengung oben deutet auf Discovery oder Kapazität, in der Mitte auf Qualität oder Duplikate, unten auf Nachfrage oder Ranking. Prüfe jedes einzelne negative Ergebnis mit einer Suche nach exakter Wortfolge nach, bevor du handelst.
Python 3.9+ · Excel-Worksheet · keine Schlüssel enthalten · ohne Anmeldung
Die Dateien sind auf Englisch.
1,118 Wörter · Übersetzung des gesprochenen Textes der Episode.
Intro
Du veröffentlichst viele Seiten auf einmal. Wochen später tauchen nur wenige davon in Search Console mit Impressionen auf. Ignoriert Google die Site? Sind die Seiten schlecht? Oder dauert es nur?
Das kannst du im Performance-Bericht nicht sehen. Impressionen sind der letzte Schritt einer langen Kette. Bricht die Kette früher ab, zeigt der Bericht nur Stille.
In dieser Episode teilen wir die Kette in drei Phasen: Crawl, Index und Rank. Für jede Phase zeige ich dir, welches Signal du auf meiner Site liest, wie weit du ihm vertrauen kannst, und den einen Messfehler, den ich machte und du vermeiden kannst.
Der Funnel: vier Zahlen, nicht eine
Stell es dir als Trichter mit vier Ebenen vor. Das hier ist echt, von meiner eigenen Site: example-city-stats.com. Anonymisiert: Domain, URLs und Suchbegriffe sind ersetzt, damit wir bei Prinzipien bleiben, nicht bei Keywords. Die Zahlen sind unverändert.
Ganz oben: dein Korpus: die Seiten, die Google kennen soll. Miss sie als eindeutige URLs in deiner Live-Sitemap. Nicht die Summe der Sitemap-Einträge in Search Console. Wenn du einen Sitemap-Index einreichst, listet Search Console den Index und jede Datei, und der Index zählt die Dateien bereits. Addierst du sie, verdoppelst du den Nenner. Auf meiner Site sind es knapp vierzehntausend URLs.
Nächste Ebene: gecrawlt. Hat Googlebot die Seite geholt? Auf meiner Site, in den neun Tagen, die mein CDN-Log behält, hat verifizierter Googlebot etwa siebentausendachthundert geholt, etwas mehr als die Hälfte. Neun Tage ist kurz, lies es als Tempo, nicht als Urteil. Dann indexiert. Hat Google sie behalten? Und unten: Impressionen. Die Seite erscheint bei echten Suchen. Das bedeutet Ranking in der Praxis.
Der Sinn des Trichters: jede Ebene hat eine andere Ursache, wenn sie dünn ist. Wenig gecrawlt ist ein Entdeckungs- oder Kapazitätsproblem. Gecrawlt, aber nicht indexiert ist eine Qualitäts- oder Duplikatbewertung. Indexiert ohne Impressionen ist ein Nachfrage- oder Ranking-Problem. Drei Probleme, drei verschiedene Lösungen. Du brauchst also eine Zahl auf jeder Ebene.
Crawling: der Frühindikator
Fang oben an. Das beste kostenlose Crawl-Signal ist der Crawl-Stats-Bericht in Search Console. Er liegt unter Einstellungen, nicht im Hauptmenü, weshalb viele ihn nie öffnen.
Er zeigt, wie viele Requests Googlebot pro Tag macht, wie dein Server antwortet, und den Zweck jedes Requests. Zweck ist das Interessante. Discovery bedeutet, Google holt URLs, die es noch nicht kennt. Refresh bedeutet, es prüft bekannte Seiten erneut.
Dieser Bericht ist nur im Interface, nicht in der API. Für meine Site habe ich dieselbe Ansicht von der CDN-Seite gebaut: Requests pro Tag von IP-verifiziertem Googlebot und wie viele URLs neu waren. Acht Wochen. Im Schnitt etwa sechstausend Requests am Tag, zwischen ca. zwölfhundert und dreizehntausend schwankend. Und jede Woche waren ein Fünftel bis knapp zwei Fünftel der geholten URLs neu.
Meiner Erfahrung nach bewegt sich die Crawl-Kurve Tage bis Wochen vor Index. Das macht sie zum führenden Indikator. Aber sei ehrlich, was ein Chart zeigen kann. Auf dieser Site war die Index-Stichprobe jede Woche hundert Prozent, also gibt es nichts, dem die Crawl-Linie vorauslaufen kann. Sind Crawl-Requests flach und Discovery nahe null, bewegt sich auch nichts weiter unten. Dann hör auf zu warten und prüf interne Links und Sitemaps.
Crawling hinter einem CDN: Traue deinem Server-Log nicht
Hier ist der Fehler, den ich erwähnte. Steht deine Site hinter einem CDN wie Cloudflare, misst dein Server-Log nicht das Crawling. Es misst Cache-Misses. Die meisten Googlebot-Requests beantwortet das CDN und erreichen deinen Server nie. In einer Messung auf meinen Sites sah der Origin etwa fünf Prozent der Googlebot-Requests. Crawl aus dem Log zu zählen hätte mir gesagt, Google habe fast das Interesse verloren. Hatte es nicht.
Die zweite Falle ist Googlebot überhaupt zu identifizieren. Vertrau nie dem User-Agent-String. Jeder kann behaupten, Googlebot zu sein. Als ich über meine Sites prüfte, kamen etwa sechsundfünfzig Prozent der Requests, die sich Googlebot nannten, von woanders.
Die verlässliche Methode: prüf die Client-IP gegen die Bereiche, die Google für seine Crawler veröffentlicht. Hinter einem CDN mach das in der CDN-Analytics, wo du jeden Request siehst, nicht im Origin-Log. Auf dem Bildschirm ist ein Tag auf example-city-stats.com Ende August. Etwa dreizehntausend Requests von echten Google-Adressen, und etwa dreitausend, die nur behaupteten, Googlebot zu sein. Auf dieser Site kamen die Fakes in Wellen: Tausende am Tag an ein paar August-Tagen, unter hundert am Tag seit September.
Indexierung: Stichprobe ziehen, nicht der Sitemap-Zahl trauen
Jetzt die Mitte des Trichters. Wie viele deiner Seiten sind indexiert?
Die verlockende Antwort ist die indexierte Zahl bei deinen Sitemaps. Nutz sie nicht. Meiner Erfahrung nach ist sie unzuverlässig, und kann wochenlang unverändert bleiben, während die Realität sich bewegt. Echter Index-Status kommt von URL Inspection, oder vom Suchen nach der exakten URL in Anführungszeichen.
URL Inspection hat eine API, aber mit Tagesquota pro Property, also kannst du keine große Site täglich prüfen. Die praktische Antwort ist Sampling.
Teile deine URLs in Schichten, nach Bereich oder Template. Zieh eine feste Zahl zufällig aus jeder Schicht. Prüfe sie einmal pro Woche. Multipliziere den indexierten Anteil jeder Schicht mit ihrer Größe, und du hast eine Schätzung indexierter Seiten mit Trendlinie. Das ist eine geschichtete Stichprobe.
Auf meiner Site sind das sechs Bereiche, A bis F, von fünfzig Seiten bis etwa fünftausendfünfhundert. Hundertzweiunddreißig URLs in der letzten Stichprobe, und jede kam als indexiert zurück. Bei dieser Stichprobengröße ist die Marge etwa vier Prozentpunkte, also ist die ehrliche Lesart: über fünfundneunzig Prozent.
Zwei Regeln machen sie vertrauenswürdig. Erstens: der Coverage-Status ist aggregiert zuverlässig, nicht für eine URL. In meinen Messungen waren etwa drei Prozent der Antworten "Google unbekannt" falsch. Handle also nie auf eine URL-Aussage ohne exakte Phrasensuche. Zweitens kann der Endpunkt an einem ganzen Tag auf einmal ausfallen. Prüfe in jedem Lauf also eine gut indexierte Site als Kontrolle. Sieht die Kontrolle plötzlich nicht indexiert aus, ist das Problem die API.
Ranking: Indexiert zu sein ist nicht das Ziel
Die untere Ebene ist am einfachsten zu messen. Zähle die Seiten mit mindestens einer Impression in Search Console über die letzten vier Wochen. Vergleiche sie mit deiner Index-Schätzung.
Auf meiner Site hatten etwa elftausendvierhundert der vierzehntausend eine Impression, ungefähr vier von fünf. Etwa neunundzwanzig-hundert bekamen einen Klick. Crawling und Indexierung sind hier also nicht das Problem. Dieser Trichter verengt sich unten. Entweder gibt es wenig Nachfrage für diese Seiten oder sie ranken zu niedrig. Da übernimmt der Rest dieser Serie: Nachfrage im nächsten Modul und die Ergebnisseite danach.
Den Funnel lesen
So liest du ihn. Eng oben: Google findet oder holt deine Seiten nicht. Prüf interne Links, Sitemaps, Server-Antworten und beobachte Discovery. Eng in der Mitte: Google holt die Seiten, behält sie aber nicht. Such nach dünnen oder fast doppelten Seiten. Eng unten: die Seiten sind im Index, aber niemand sieht sie. Das ist Nachfrage und Wettbewerb.
Und lies es jede Woche neu. Die Form über Zeit sagt dir mehr als ein Schnappschuss.
Fazit
Crawl, Index, Rank: miss jede Ebene einzeln und du weißt, wo du suchen musst. Das Trichter-Worksheet und das Sampling-Skript sind in der Beschreibung verlinkt. Nächste Episode: Suchvolumen und woher diese Zahlen wirklich kommen. Bis dahin.