AI SEO In Detail

AI SEO In Detail › Module B · Analyse du trafic de recherche › Épisode 17

Épisode 17 · 7:05 · gratuit

Crawl, indexation, classement : lire les signaux de crawl et d'indexation

Découpez l'entonnoir SEO en crawl, indexation et classement. Lisez Search Console et les logs serveur pour voir pourquoi des pages sont crawlées sans être indexées.

La lecture de la vidéo la charge depuis YouTube (mode privacy-enhanced). La vidéo est en anglais, avec des sous-titres dans votre langue.

Script + feuille de calcul gratuits

Entonnoir Crawl > Indexation > Classement : feuille + script

Une feuille de calcul qui mesure corpus, pages crawlées, indexées et impressions comme quatre chiffres distincts et vous indique quelle étape est faible, plus index_sample.py : échantillonnage stratifié avec URL Inspection, site témoin, liste de revérification et historique de tendance. API Search Console gratuite, 0 $.

  • Quatre chiffres, pas un seul — Corpus (URL uniques du sitemap en ligne), crawlées (Googlebot vérifié par IP, depuis les analytics de votre CDN), indexées (un échantillon) et pages avec impressions. Chaque niveau a une cause différente quand il est faible.
  • Échantillonnez l'index, ne croyez pas le nombre du sitemap — Répartissez vos URL en strates, inspectez chaque semaine un nombre aléatoire fixe dans chacune, puis multipliez chaque part par la taille de sa strate. Ajoutez un site témoin dont vous savez qu'il est indexé : s'il paraît non indexé, l'API a eu une mauvaise journée.
  • Lisez la forme, chaque semaine — Un rétrécissement en haut signale un problème de découverte ou de capacité, au milieu de qualité ou de duplication, en bas de demande ou de classement. Revérifiez tout résultat négatif isolé par une recherche en expression exacte avant d'agir.
Télécharger la feuille + le script (zip)

Python 3.9+ · Feuille Excel · aucune clé incluse · sans inscription

Les fichiers sont en anglais.

Transcription complète (traduite)

1,281 mots · traduction de la narration de l’épisode.

Introduction

Vous publiez un gros lot de pages. Quelques semaines plus tard, seule une fraction apparaît dans Search Console avec des impressions. Google ignore-t-il le site ? Les pages sont mauvaises ? Ou c'est lent ?

Impossible de répondre depuis le rapport de performances. Les impressions sont la dernière étape d'une longue chaîne. Si la chaîne casse avant, le rapport montre juste du silence.

Dans cet épisode, on divise cette chaîne en trois étapes : exploration, indexation et classement. Pour chaque étape, je vais vous montrer quel signal lire sur mon propre site, jusqu'où vous pouvez lui faire confiance, et l'erreur de mesure que j'ai faite et que vous pouvez éviter.

L'entonnoir : quatre chiffres, pas un seul

Voyez ça comme un entonnoir à quatre niveaux. Celui-ci est réel, d'un de mes propres sites, example-city-stats.com. C'est anonymisé : le domaine, les URL et les termes sont remplacés, pour rester sur les principes et pas sur les mots-clés. Les chiffres sont intacts.

En haut se trouve votre corpus : les pages que vous voulez que Google connaisse. Mesurez-le comme les URL uniques dans votre sitemap en ligne. Pas la somme des entrées sitemap dans Search Console. Si vous soumettez un index de sitemap, Search Console liste l'index et chaque fichier enfant, et l'index compte déjà les enfants. Additionnez-les et vous doublez votre dénominateur. Sur mon site, le corpus fait un peu moins de quatorze mille URL.

Niveau suivant : exploré. Googlebot a-t-il vraiment récupéré la page ? Sur mon site, dans les neuf jours que mon CDN garde son log, Googlebot vérifié a récupéré environ sept mille huit cents pages, un peu plus de la moitié. Neuf jours, c'est court, lisez ça comme un rythme, pas un verdict. Puis indexé. Google a-t-il décidé de la garder ? Et en bas : impressions. La page apparaît pour de vraies recherches. C'est ce que signifie le classement en pratique.

Le but de l'entonnoir : chaque niveau a une cause différente s'il est fin. Peu de pages explorées est un problème de découverte ou de capacité. Exploré mais non indexé est un jugement de qualité ou duplication. Indexé sans impressions est un problème de demande ou classement. Trois problèmes, trois correctifs différents. Donc il vous faut un chiffre à chaque niveau.

Crawl : l'indicateur avancé

Commencez en haut. Le meilleur signal gratuit : le rapport Stats exploration dans Search Console. Il est dans Paramètres, pas dans le menu principal, c'est pourquoi beaucoup ne l'ouvrent jamais.

Il montre combien de requêtes Googlebot fait par jour, la réponse serveur, et le but de chaque requête. Le but est le plus intéressant. Découverte signifie que Google récupère des URL jamais vues. Actualisation signifie qu'il revérifie des pages qu'il connaît déjà.

Ce rapport n'est que dans l'interface, pas dans l'API. Donc pour mon site j'ai construit la même vue côté CDN : requêtes par jour de Googlebot IP-vérifié, et combien d'URL étaient neuves. Huit semaines. En moyenne environ six mille requêtes par jour, oscillant entre environ mille deux cents et treize mille. Et chaque semaine, entre un cinquième et un peu plus de deux cinquièmes des URL étaient neuves.

D'après mon expérience, la courbe d'exploration bouge avant l'indexation. Ça en fait l'indicateur avancé. Mais soyez honnête sur ce qu'un graphique peut montrer. Sur ce site, l'échantillon d'index était cent pour cent chaque semaine, donc rien en aval pour que la ligne d'exploration précède. Si les requêtes d'exploration sont plates et la découverte proche de zéro, rien en aval ne bougera non plus. Alors arrêtez d'attendre, et regardez liens internes et sitemaps.

Crawl derrière un CDN : ne vous fiez pas à vos logs serveur

Voici l'erreur que j'ai mentionnée. Si votre site est derrière un CDN comme Cloudflare, votre propre log serveur ne mesure pas l'exploration. Il mesure les échecs de cache. La plupart des requêtes de Googlebot sont répondues par le CDN et n'atteignent jamais votre serveur. Dans une mesure sur mes sites, l'origine voyait environ cinq pour cent des requêtes de Googlebot. Compter l'exploration depuis ce log m'aurait dit que Google perdait intérêt. Ce n'était pas le cas.

Le deuxième piège est d'identifier Googlebot. Ne faites jamais confiance à la chaîne User-Agent. N'importe qui peut prétendre être Googlebot. Quand j'ai vérifié sur mes sites, environ cinquante-six pour cent des requêtes se disant Googlebot venaient d'ailleurs.

La méthode fiable : vérifier l'IP client contre les plages que Google publie pour ses robots. Derrière un CDN, faites ça sur l'analytique du CDN où vous voyez tout, pas sur le log d'origine. À l'écran, un jour sur example-city-stats.com fin août. Environ treize mille requêtes de vraies adresses Google, et environ trois mille qui prétendaient juste être Googlebot. Sur ce site, les faux venaient par vagues : des milliers par jour sur quelques jours d'août, moins d'une centaine par jour depuis septembre.

Indexation : échantillonnez, ne croyez pas le nombre du sitemap

Maintenant le milieu de l'entonnoir. Combien de vos pages sont indexées ?

La réponse tentante est le chiffre indexé attaché à vos sitemaps. Ne l'utilisez pas. D'après mon expérience, c'est peu fiable, et ça peut rester inchangé pendant des semaines alors que la réalité bouge. Le vrai statut d'index vient de l'Inspection d'URL, ou de la recherche de l'URL exacte entre guillemets.

L'Inspection d'URL a une API, mais avec un quota journalier par propriété, donc vous ne pouvez pas inspecter un gros site chaque jour. La réponse pratique est l'échantillonnage.

Divisez vos URL en couches, par section ou template. Prenez un nombre fixe au hasard de chaque couche. Inspectez-les une fois par semaine. Multipliez la part indexée de chaque couche par sa taille, et vous avez une estimation des pages indexées, avec tendance. C'est un échantillon stratifié.

Sur mon site, c'est six sections, A à F, de cinquante pages à environ cinq mille cinq cents. Cent trente-deux URL dans le dernier échantillon, et chacune est revenue indexée. Avec un échantillon de cette taille, la marge est d'environ quatre points, donc la lecture honnête est : au-dessus de quatre-vingt-quinze pour cent.

Deux règles le rendent fiable. D'abord, l'état de couverture est fiable en agrégat, pas pour une URL. Dans mes mesures, environ trois pour cent des réponses "inconnu de Google" étaient fausses. Donc n'agissez jamais sur le verdict d'une URL sans recherche exacte. Ensuite, le point de terminaison peut échouer sur toute une journée. Donc à chaque exécution, inspectez un site bien indexé comme contrôle. Si le contrôle semble soudain non indexé, le problème est l'API, pas le site.

Classement : être indexé n'est pas la ligne d'arrivée

Le niveau du bas est le plus facile à mesurer. Comptez les pages avec au moins une impression dans Search Console sur les quatre dernières semaines. Comparez avec votre estimation indexée.

Sur mon site, environ onze mille quatre cents des quatorze mille avaient une impression, environ quatre sur cinq. Environ deux mille neuf cents ont eu un clic. Donc l'exploration et l'indexation ne sont pas le problème ici. Cet entonnoir se rétrécit en bas. Soit il y a peu de demande pour ces pages, soit elles classent trop bas. C'est là que le reste de cette série prend le relais : la demande dans le module suivant, et la page de résultats après.

Lire l'entonnoir

Donc voici comment le lire. Étroit en haut : Google ne trouve ou ne récupère pas vos pages. Vérifiez liens internes, sitemaps et réponses serveur, et surveillez. Étroit au milieu : Google récupère les pages mais choisit de ne pas les garder. Cherchez des pages minces ou quasi-dupliquées. Étroit en bas : les pages sont dans l'index, mais personne ne les voit. C'est la demande et la concurrence.

Et relisez-le chaque semaine. La forme dans le temps vous dit plus que n'importe quel instantané.

Pour conclure

Exploration, indexation, classement : mesurez chaque niveau séparément, et vous saurez où chercher. La feuille entonnoir et le script d'échantillonnage sont liés en description. Prochain épisode : volume de recherche, et d'où viennent ces chiffres. On se voit là-bas.