miji.beEl presupuesto de rastreo (Crawl Budget) es el límite de veces que el rastreador de un motor de búsqueda como Google (Googlebot) recorre un sitio en un periodo determinado. Google ajusta la frecuencia de rastreo por sitio para no sobrecargar los servidores.
El presupuesto de rastreo se determina por dos factores. El primero es el límite de capacidad de rastreo (también llamado hostload), que depende del número de conexiones que Googlebot abre en paralelo y del intervalo entre peticiones; baja cuando las respuestas se vuelven lentas o cuando el servidor empieza a devolver errores 5xx o respuestas 429. El segundo es la demanda de rastreo, que depende del número de URL que Google ha descubierto, de la popularidad del sitio y de sus páginas, y del tiempo transcurrido desde el último rastreo. El material anterior de Google llamaba al primer factor límite de velocidad de rastreo; la guía actual lo denomina límite de capacidad de rastreo.
El número de páginas no decide por sí solo si conviene preocuparse por el presupuesto de rastreo. La guía de Google se dirige a los sitios con más de un millón de páginas sin duplicados cuyo contenido cambia aproximadamente una vez por semana, y a los sitios con más de diez mil páginas sin duplicados cuyo contenido cambia con mucha frecuencia (a diario), aunque advierte de que esas cifras son una orientación aproximada y no umbrales exactos. La prueba práctica es si una página recién publicada se rastrea el mismo día. Si ocurre así, basta con mantener el sitemap actualizado y revisar de vez en cuando el estado de indexación. Cuando en un sitio grande las páginas nuevas tardan mucho en rastrearse, la optimización del presupuesto de rastreo sí se convierte en un aspecto SEO relevante.
La relación entre los servicios de acortamiento de URL y el presupuesto de rastreo es indirecta pero relevante. En servicios que generan grandes cantidades de URL acortadas, las páginas de cada URL acortada (como las páginas de vista previa) pueden convertirse en objetivo del rastreador. Conviene tener presente que robots.txt y noindex cumplen funciones distintas. Robots.txt impide el rastreo y no garantiza que una URL quede fuera del índice; noindex impide la indexación y solo surte efecto si el rastreador puede acceder a la página. Aplicar ambos a la misma URL resulta contraproducente: al detenerse el rastreo, la etiqueta noindex nunca se lee y no se obtiene el efecto buscado. Conviene usar robots.txt para las URL cuyo rastreo se quiere reducir y noindex para las que solo se desea excluir de los resultados de búsqueda, eligiendo una u otra.
Las principales técnicas para optimizar el presupuesto de rastreo son: mantener alta la velocidad de respuesta del servidor (aumento del límite de capacidad de rastreo), eliminar contenido duplicado y páginas de baja calidad (reducción de objetivos de rastreo), indicar las páginas importantes mediante un sitemap XML (orientación de prioridades) y bloquear rutas innecesarias con robots.txt (eliminación de rastreos inútiles).