AI SEO In Detail

AI SEO In Detail › Modul A · Grundlagen › Folge 4

Folge 4 · 6:25 · kostenlos

Google Search Console API: deine eigenen Daten abrufen

Nutze die Google Search Console API, um alle Suchanfragen und Seiten deiner Website abzurufen, jenseits der UI-Limits – mit Service-Account und kostenlosem Python-Kit.

Beim Abspielen wird das Video von YouTube geladen (erweiterter Datenschutzmodus). Das Video ist auf Englisch, mit Untertiteln in deiner Sprache.

Kostenloses Skript

Search-Console-Tagesabruf-Skript + SQLite-Schema

gsc_pull.py + schema.sql: Rufe jede Zeile deiner Google Search Console-Daten über die API ab, Tag für Tag, direkt in SQLite. Service-Account per Umgebungsvariable, drei Abrufe pro Tag, vollständige Paginierung über 25 000 Zeilen hinaus, JSON-Rohdaten-Cache und ein Upsert, das nie einen Tag doppelt anlegt.

  • Service-Account anlegen — Aktiviere die Search Console API in einem Google-Cloud-Projekt, lade den JSON-Schlüssel des Service-Accounts in deinen Home-Ordner herunter und füge dessen Adresse als eingeschränkten Nutzer zu deiner Property hinzu.
  • Skript auf den Schlüssel zeigen lassen — Setze GSC_KEY_FILE auf den Pfad des Schlüssels und GSC_SITE auf deine Property. Führe den selftest aus und dann den Abruf: Datum, Datum + Seite und Datum + Seite + Suchanfrage, jede Zeile, gecacht und per Upsert gespeichert.
  • Einmal prüfen, dann planen — Vergleiche mit dem check-Befehl einen vollständigen Tag mit der Oberfläche und führe ihn danach täglich aus: Rufe die letzten fünf Tage erneut ab, damit sich die aktuellen Zahlen setzen und die Historie weiterwächst.
Skript + Schema herunterladen (zip)

Python 3.9+ · SQLite · keine Schlüssel enthalten · ohne Anmeldung

Die Dateien sind auf Englisch.

Vollständiges Transkript (übersetzt)

1,038 Wörter · Übersetzung des gesprochenen Textes der Episode.

Intro

Der Export-Button von Search Console liefert dir tausend Zeilen. Hat deine Website mehr Suchanfragen, fehlt der Rest einfach in der Datei.

Und Search Console speichert nur etwa sechzehn Monate Verlauf. Alles Ältere ist weg, außer du hast es gespeichert.

Beide Probleme haben dieselbe Lösung: die Daten selbst abrufen, per API, täglich, in deine eigene Datenbank. In dieser Folge machen wir genau das für eine meiner eigenen Websites. Wir richten den Zugang mit einem Dienstkonto ein, schreiben die Abfrage, blättern durch alle Zeilen und speichern sie, damit der Verlauf nie verschwindet.

Zugang: ein Service-Account

Zugang: ein Service-Account

Um die API per Skript aufzurufen, brauchst du eine Identität, die nicht du bist. Das ist ein Dienstkonto: ein Roboter-Nutzer in Google Cloud.

Drei Schritte. Erstelle ein Google-Cloud-Projekt und aktiviere darin die Search Console API. Erstelle ein Dienstkonto und lade seinen Schlüssel herunter, eine JSON-Datei. Dann öffne in Search Console die Nutzereinstellungen deiner Property und füge die E-Mail-Adresse des Dienstkontos als Nutzer hinzu.

Welche Berechtigung? Eingeschränkt reicht zum Lesen der Daten. Gib ihm den geringsten Zugriff, der funktioniert. Und nutze im Skript den Read-only-Scope, damit selbst ein Bug nichts ändert.

Wohin mit dem Schlüssel? Dieselbe Regel wie in der letzten Folge. Außerhalb des Projektordners, nur für dich lesbar. Ich habe einen Schlüssel in meinem Home-Ordner, und das Skript verweist per Umgebungsvariable darauf.

Ein Konto kann zu vielen Properties hinzugefügt werden. Ich nutze ein Dienstkonto für alle Websites, so holt ein Skript alles.

Die Abfrage: Dimensionen und Filter

Die Abfrage: Dimensionen und Filter

Die Methode für fast alles heißt search analytics query. Du gibst ihr einen Zeitraum, eine Liste von Dimensionen und optional Filter.

Dimensionen bestimmen, wie die Daten aufgeteilt werden. Date, page, query, country, device und search appearance. Du wählst die Kombination und bekommst je Kombination eine Zeile mit Klicks, Impressionen, CTR und Position.

Hier die erste Überraschung. Die gewählten Dimensionen ändern die Summen. Fragst du nur nach dem Datum, zählt Google pro Website, und du bekommst die vollständige Summe. Nimm die Dimension page dazu, und es zählt pro Seite. Kommt query dazu, fallen Zeilen aus Datenschutzgründen weg.

Hier ein Tag auf einer meiner Websites. Kurz vorweg: die Daten sind echt, direkt aus der Search Console API, aber anonymisiert. Domain, Seiten-URLs und Suchbegriffe sind ersetzt, damit wir bei den Prinzipien bleiben, nicht bei den Keywords. Die Zahlen sind unverändert.

Der Abruf nur nach Datum zeigt dreihundertfünfzig Klicks an dem Tag. Addierst du die Query- und Page-Zeilen desselben Tages, kommst du auf etwa sechzig. Gleiche Website, gleicher Tag. Das ist kein Bug in deinem Skript. Folge neun erklärt das Ganze.

Meine Praxisregel: zwei getrennte Abrufe speichern. Einen nach Datum und Seite, der vollständige Seitensummen liefert. Und einen nach Datum, Seite und Query für das Detail.

Zeilenlimits und Paginierung

Jeder Aufruf liefert höchstens fünfundzwanzigtausend Zeilen. Gibt es mehr, fragst du erneut mit einem startRow-Offset, fünfundzwanzigtausend, dann fünfzigtausend und so weiter, bis ein Aufruf leer zurückkommt.

So sieht das auf meiner Website aus, sechs Tage am Stück.

Jeder Balken ist ein Tag mit Query- und Page-Zeilen. Die Linie ist das Exportlimit von tausend Zeilen. Jeder Tag liegt bei etwa siebenundvierzighundert bis zweiundsechzighundert Zeilen. Das ist das Fünf- bis Sechsfache des Limits. Alles über der Linie sind Daten, die du per Export nie gesehen hättest.

Ruf einen Tag nach dem anderen ab. So bleibt jeder Aufruf klein, und der tägliche Job ist einfach: ein Datum rein, alle Zeilen raus.

Selbst mit Paginierung liefert die API nicht jede Suchanfrage. Sehr seltene und von Google als privat eingestufte Anfragen fehlen. In Folge neun siehst du, wie viel das auf dieser Website ausmacht.

Datenverzögerung und frische Daten

Datenverzögerung und frische Daten

Search-Console-Daten sind nicht in Echtzeit. Die letzten zwei, drei Tage fehlen meist oder sind unvollständig. Die API kann auf Wunsch frischere, vorläufige Daten liefern, aber diese Zahlen können sich noch ändern.

Für die tägliche Speicherung mache ich deshalb zwei Dinge. Ich rufe ein Datum von vor ein paar Tagen ab, wenn es final ist. Und beim nächsten Lauf hole ich die letzten Tage neu und überschreibe sie. Nimm die Zahlen von gestern in Search Console nie als endgültig.

Vergleichst du Zeiträume, dann nur vollständige Tage. Eine Woche, die gestern endet, sieht immer wie ein Einbruch aus.

Tägliche Abrufe speichern

Tägliche Abrufe speichern

Jetzt speichern. Ich nutze SQLite: eine Datei, kein Server, und schnell genug für Millionen Zeilen. Den kompletten Workspace richten wir in Folge sechs ein.

Zwei Tabellen, passend zu den zwei Abrufen. Eine Zeile pro Datum und Seite. Eine Zeile pro Datum, Seite und Query. Datum plus die übrigen Dimensionen bilden den Schlüssel, wenn du also denselben Tag zweimal abrufst, ersetzt die neue Zeile die alte, statt sie zu verdoppeln.

Speichere auch die Rohantwort als JSON-Datei, wie bei DFS. Diesmal sind die Daten kostenlos, aber der Cache schützt dich trotzdem vor Bugs beim Parsen.

Dann planen. Ein täglicher Job holt die letzten fünf Tage und macht ein Upsert. Wenn er ein Jahr gelaufen ist, hast du einen Verlauf, den Search Console selbst nicht mehr zeigt.

Stolperfallen

Drei typische Stolperfallen.

Property-Typ. Eine Domain-Property umfasst alle Subdomains und Protokolle. Eine URL-Präfix-Property umfasst nur dieses Präfix. Achte darauf, dass das Skript dieselbe Property abfragt wie die Oberfläche.

Die Position ist ein Durchschnitt, und Durchschnitte verbergen viel. In Folge acht geht es darum, sie richtig zu lesen.

Und nutze nicht den Sitemaps-Bericht der API, um die Indexierung zu beurteilen. Seine „indexed“-Zahl war in meinen Messungen unzuverlässig. Für den Indexstatus nutze URL Inspection, darauf kommen wir in Folge siebzehn zurück.

Plausibilitätschecks beim ersten Abruf

Bevor du darauf aufbaust, gleiche die Daten einmal mit der Oberfläche ab. Wähle einen vollständigen Tag. Hier dieser Check auf meiner eigenen Website.

Der Abruf nur nach Datum sollte der Summe in der Oberfläche entsprechen oder sehr nah dran sein. Ebenso die Summe deines Seiten-Abrufs. Wenn nicht, fragst du wahrscheinlich eine andere Property ab, einen anderen Suchtyp oder einen Tag, der noch nicht final ist.

Der Query-Abruf liegt niedriger. Hier sind es etwa sechzig von dreihundertfünfzig Klicks. Keine Panik wegen dieser Lücke. Das sind die versteckten Anfragen, über die wir gerade sprachen.

Prüfe dann die Zeilenzahl pro Tag, wie im Diagramm vorhin. Ein Tag mit plötzlich viel weniger Zeilen bei normalen Klicks deutet meist auf einen Paginierungs-Bug hin, kein SEO-Ereignis. Zehn Minuten Prüfung ersparen dir ein Jahr lang ein falsches Diagramm.

Fazit

Ein Dienstkonto, zwei Abrufe pro Tag, Paginierung und eine Datenbank, die deinen Verlauf bewahrt. Skript und Schema sind in der Beschreibung verlinkt. Nächste Folge: Analytics, Search Console und DFS in einem Datenmodell vereinen. Bis dann.