AI SEO In Detail › Módulo B · Análisis del tráfico de búsqueda › Episodio 17
Rastreo, indexación y ranking: leer las señales de rastreo e indexación
Divide el embudo SEO en rastreo, indexación y ranking. Lee Search Console y los logs del servidor para ver por qué se rastrean páginas sin indexarse y dónde se atascan.
Al reproducir el vídeo se carga desde YouTube (modo de privacidad mejorada). El vídeo está en inglés con subtítulos en tu idioma.
Embudo Rastreo > Indexación > Ranking: hoja + script
Una hoja de cálculo que mide corpus, rastreadas, indexadas e impresiones como cuatro cifras separadas y te dice qué paso es débil, más index_sample.py: muestreo estratificado con URL Inspection, sitio de control, lista de recomprobación e historial de tendencia. API de Search Console gratuita, 0 $.
- Cuatro cifras, no una — Corpus (URL únicas del sitemap en vivo), rastreadas (Googlebot verificado por IP, desde las analíticas de tu CDN), indexadas (una muestra) y páginas con impresiones. Cada nivel tiene una causa distinta cuando es débil.
- Muestrea el índice, no te fíes del recuento del sitemap — Divide tus URL en estratos, inspecciona cada semana un número aleatorio fijo de cada uno y multiplica cada proporción por el tamaño de su estrato. Incluye un sitio de control que sepas que está indexado: si el control aparece como no indexado, la API ha tenido un mal día.
- Lee la forma, cada semana — Un estrechamiento arriba indica descubrimiento o capacidad, en el medio calidad o duplicación, abajo demanda o ranking. Vuelve a comprobar cualquier resultado negativo aislado con una búsqueda de frase exacta antes de actuar.
Python 3.9+ · Hoja Excel · sin claves incluidas · sin registro
Los archivos están en inglés.
1,269 palabras · traducción de la narración del episodio.
Introducción
Publicas un gran lote de páginas. Semanas después, solo una fracción aparece en Search Console con impresiones. ¿Google ignora el sitio? ¿Las páginas son malas? ¿O es lento?
No puedes responder eso desde el reporte de rendimiento. Las impresiones son el último paso de una cadena larga. Si la cadena se rompe antes, el reporte solo muestra silencio.
En este episodio dividimos esa cadena en tres etapas: rastreo, indexación y ranking. Para cada etapa mostraré qué señal leer en uno de mis sitios, cuánto puedes confiar en ella, y el error de medición que cometí y que puedes evitar.
El embudo: cuatro cifras, no una
Piénsalo como un embudo con cuatro niveles. Este es real, de uno de mis sitios, example-city-stats.com. Está anonimizado: el dominio, las URLs y los términos están reemplazados, para enfocarnos en los principios y no en las palabras clave. Los números están intactos.
En la cima está tu corpus: las páginas que quieres que Google conozca. Mídelo como las URLs únicas en tu sitemap activo. No la suma de entradas del sitemap en Search Console. Si envías un índice de sitemap, Search Console lista el índice y cada archivo hijo, y el índice ya cuenta los hijos. Súmalos y duplicas tu denominador. En mi sitio, el corpus es poco menos de catorce mil URLs.
Siguiente nivel: rastreado. ¿Googlebot realmente obtuvo la página? En mi sitio, en los nueve días que mi CDN guarda su log, Googlebot verificado obtuvo unas setenta y ocho cientos de ellas, poco más de la mitad. Nueve días es una ventana corta, léelo como ritmo, no veredicto. Luego indexado. ¿Google decidió guardarla? Y abajo: impresiones. La página aparece en búsquedas reales. Eso es lo que ranking significa en la práctica.
El punto del embudo es que cada nivel tiene una causa distinta cuando es fino. Pocas páginas rastreadas es un problema de descubrimiento o capacidad. Rastreado pero no indexado es un juicio de calidad o duplicación. Indexado sin impresiones es un problema de demanda o ranking. Tres problemas, tres soluciones diferentes. Necesitas un número en cada nivel.
Rastreo: el indicador adelantado
Empieza arriba. La mejor señal gratis de rastreo es el reporte en Search Console. Está en Configuración, no en el menú principal, por eso muchos nunca lo abren.
Muestra cuántas peticiones hace Googlebot al día, cómo responde tu servidor, y el propósito de cada petición. Propósito es lo interesante. Discovery significa que Google obtiene URLs que no ha visto antes. Refresh significa que revisa páginas que ya conoce.
Ese reporte solo está en la interfaz, no en la API. Así que para mi sitio construí la misma vista desde el CDN: peticiones por día de Googlebot verificado por IP, y cuántas URLs eran nuevas. Ocho semanas. Promedio de unas seis mil peticiones al día, oscilando entre unas mil doscientas y trece mil. Y cada semana, entre un quinto y poco más de dos quintos de las URLs eran nuevas.
En mi experiencia, la curva de rastreo se mueve días o semanas antes que indexación. Eso la hace el indicador adelantado. Pero sé honesto sobre lo que un gráfico puede mostrar. En este sitio, la muestra de índice fue cien por ciento cada semana, así que no hay nada abajo que la línea de rastreo pueda adelantar. Si las peticiones de rastreo son planas y discovery está cerca de cero, nada abajo se moverá tampoco. Entonces deja de esperar y revisa enlaces internos y sitemaps.
Rastreo detrás de un CDN: no te fíes del log de tu servidor
Aquí está el error que mencioné. Si tu sitio está tras un CDN como Cloudflare, tu log de servidor no mide rastreo. Mide fallos de caché. La mayoría de peticiones de Googlebot las responde el CDN y nunca llegan a tu servidor. En una medición en mis sitios, el origen vio cerca del cinco por ciento de las peticiones de Googlebot. Contar rastreo desde ese log me habría dicho que Google perdió interés. No fue así.
La segunda trampa es identificar a Googlebot. Nunca confíes en la cadena User-Agent. Cualquiera puede afirmar ser Googlebot. Cuando revisé en mis sitios, cerca del cincuenta y seis por ciento de peticiones que se decían Googlebot venían de otro lugar.
El método confiable es verificar la IP del cliente contra los rangos que Google publica para sus rastreadores. Tras un CDN, hazlo en la analítica del CDN, donde ves cada petición, no en el log del origen. En pantalla un día en example-city-stats.com a fines de agosto. Unas trece mil peticiones de direcciones Google reales, y unas tres mil que solo afirmaban ser Googlebot. En este sitio los falsos venían en oleadas: miles al día en unos pocos días de agosto, menos de cien al día desde septiembre.
Indexación: muestrea, no te fíes del recuento del sitemap
Ahora el medio del embudo. ¿Cuántas de tus páginas están indexadas?
La respuesta tentadora es la cifra indexada adjunta a tus sitemaps. No la uses. En mi experiencia no es confiable, y puede quedarse sin cambios por semanas mientras la realidad se mueve. El estado real del índice viene de URL Inspection, o de buscar la URL exacta entre comillas.
URL Inspection tiene API, pero con cuota diaria por propiedad, así que no puedes inspeccionar un sitio grande cada día. La respuesta práctica es muestreo.
Divide tus URLs en capas, por sección o plantilla. Elige un número fijo al azar de cada capa. Inspecciónalas una vez por semana. Multiplica la proporción indexada de cada capa por su tamaño, y tendrás una estimación de páginas indexadas, con línea de tendencia. Eso es una muestra estratificada.
En mi sitio, son seis secciones, A a F, desde cincuenta páginas hasta unas cincuenta y quinientas. Ciento treinta y dos URLs en la última muestra, y cada una volvió indexada. Con una muestra de ese tamaño el margen es unos cuatro puntos porcentuales, así que la lectura honesta es: arriba del noventa y cinco por ciento.
Dos reglas lo hacen confiable. Primero, el estado de cobertura es confiable en conjunto, no para una URL sola. En mis mediciones cerca del tres por ciento de respuestas "desconocido para Google" fueron falsas. Nunca actúes en el veredicto de una URL sin una búsqueda de frase exacta. Segundo, el endpoint puede fallar en un día entero de una vez. Así que en cada ejecución, inspecciona un sitio que sepas bien indexado como control. Si el control de repente parece no indexado, el problema es la API, no tu sitio.
Ranking: estar indexado no es la meta
El nivel inferior es el fácil de medir. Cuenta las páginas con al menos una impresión en Search Console en las últimas cuatro semanas. Compáralo con tu estimación indexada.
En mi sitio, unas once mil cuatrocientas de las catorce mil tuvieron una impresión, cerca de cuatro de cinco. Unas veintinueve cientos obtuvieron un clic. Así que rastreo e indexación no son el problema aquí. Este embudo se estrecha abajo. O hay poca demanda para esas páginas, o rankean muy bajo para ser vistas. Ahí es donde el resto de esta serie toma el control: demanda en el siguiente módulo, y la página de resultados después.
Cómo leer el embudo
Entonces así es como leerlo. Estrecho arriba: Google no está encontrando u obteniendo tus páginas. Revisa enlaces internos, sitemaps y respuestas del servidor, y observa discovery. Estrecho en el medio: Google obtiene las páginas pero elige no guardarlas. Busca páginas delgadas o casi duplicadas. Estrecho abajo: las páginas están en el índice, pero nadie las ve. Eso es demanda y competencia.
Y reléelo cada semana. La forma en el tiempo te dice más que cualquier instantánea.
Resumen final
Rastreo, indexación, ranking: mide cada nivel por separado, y sabrás dónde mirar. La hoja de embudo y el script de muestreo están enlazados en la descripción. Siguiente episodio: volumen de búsqueda, y de dónde vienen esos números. Nos vemos ahí.