Un crawler no es más que una pequeña pieza de software ( rastreadores web ) que va navegando por Internet siguiendo todos los enlaces que se encuentra con el objetivo de recopilar toda la información de las páginas que ha visitado y guardarla en sus servidores. A partir de ahí, estos ordenan toda esta información en función de unos parámetros y la guardan en su índice para después mostrársela a los usuarios. Aunque pueda parecer sencillo, este proceso es más complejo de lo que parece.
El crawler del principal buscador llamado Google no es otro que Googlebot . Google utiliza varios rastreadores de manera habitual para encontrar información. Este hecho es necesario tenerlo en cuanta ya que cada uno de estos crawlers suele centrarse en un tipo de información: noticias, imágenes, vídeo, mobile, etc.. . Google asigna a sus rastreadores un tiempo, en adelante crawl budget, para rastrear cada sitio web. Y he ahí el quid de la cuestión. En base a la autoridad, accesibilidad, calidad y velocidad del site Google asignará más o menos tiempo para que esos robots rastreen sus diferentes páginas.
El Crawl Budget es importante en el SEO ya que se puede dar el caso de que el crawl Budget que Google asigna a sus rastreadores para crwalear un sitio web no sea suficiente para que estos visiten de manera regular algunas páginas del site. Si este hecho se produce, lo más probable es que estas páginas no posicionen tan bien como nos gustaría ya que, según nuestra experiencia, hemos podido observar que aquellas páginas que son rastreadas más a menudo reciben más tráfico orgánico que aquellas que no reciben la visita de Googlebot.
Publicidad
