Un rastreador web, también conocido como araña o bot, es un programa automatizado que navega sistemáticamente por internet siguiendo enlaces de página en página. Los motores de búsqueda como Google utilizan rastreadores para descubrir nuevo contenido, actualizar su índice de páginas existentes y eliminar páginas que ya no están disponibles.
Googlebot, el rastreador web de Google, opera manteniendo una cola de URL por visitar. Obtiene cada página, extrae los enlaces, añade nuevas URL a la cola y almacena el contenido de la página para su indexación. El rastreador respeta las directivas de robots.txt, sigue las cadenas de redirección y ajusta su velocidad de rastreo según la capacidad de respuesta del servidor para evitar sobrecargar los sitios web. Los libros sobre motores de búsqueda en Amazon explican la arquitectura de los rastreadores.
Para los servicios de acortamiento de URL, los rastreadores web interactúan con las URL cortas durante el proceso de rastreo. Cuando un rastreador encuentra una URL corta en una página web, sigue la redirección para descubrir la URL de destino. El rastreador entonces indexa la página de destino, no la URL corta en sí. Este comportamiento es deseable porque asegura que el contenido original reciba el beneficio SEO.
El presupuesto de rastreo, el número de páginas que un motor de búsqueda rastreará en un sitio dentro de un período de tiempo determinado, es una consideración importante para sitios grandes. Asegurar que los rastreadores puedan descubrir y acceder eficientemente a las páginas importantes a través de enlaces internos limpios y sitemaps maximiza el uso del presupuesto de rastreo. Los libros sobre optimización de rastreo SEO en Amazon discuten estas estrategias.