El presupuesto de rastreo (Crawl Budget) es el límite de veces que el rastreador de un motor de búsqueda como Google (Googlebot) recorre un sitio en un periodo determinado. Google ajusta la frecuencia de rastreo por sitio para no sobrecargar los servidores.
El presupuesto de rastreo se determina por dos factores: el límite de velocidad de rastreo (número máximo de rastreos simultáneos basado en la velocidad de respuesta del servidor) y la demanda de rastreo (necesidad de rastreo basada en la frecuencia de actualización del contenido y su popularidad).
Para sitios pequeños (menos de unos cientos de páginas), apenas es necesario preocuparse por el presupuesto de rastreo. Gary Illyes de Google ha afirmado que "los sitios con menos de 1 000 páginas no necesitan preocuparse por el presupuesto de rastreo". Sin embargo, para sitios grandes con decenas de miles o millones de páginas, la optimización del presupuesto de rastreo se convierte en un aspecto SEO crucial.
La relación entre los servicios de acortamiento de URL y el presupuesto de rastreo es indirecta pero relevante. En servicios que generan grandes cantidades de URL acortadas, las páginas de cada URL acortada (como las páginas de vista previa) pueden convertirse en objetivo del rastreador. Para evitar el rastreo de páginas innecesarias, es importante controlar el acceso del rastreador mediante robots.txt y prevenir la indexación de páginas no deseadas con la etiqueta noindex.
Las principales técnicas para optimizar el presupuesto de rastreo son: mantener alta la velocidad de respuesta del servidor (mejora del límite de velocidad), eliminar contenido duplicado y páginas de baja calidad (reducción de objetivos de rastreo), indicar las páginas importantes mediante un sitemap XML (orientación de prioridades) y bloquear rutas innecesarias con robots.txt (eliminación de rastreos inútiles). Puedes encontrar libros relacionados en Amazon.