Google utiliza un rastreador para encontrar una web de dominio público, este rastreador busca en las páginas web todos los enlaces y navega entre ellos recopilando información a través de algoritmos y spiders.
Al realizar una busqueda dentro de Google, el sistema informático busca archivos que se encuentran almacenados en la web, las spiders o arañas en su traducción al español, son bots encargados de verificar los metadatos de una página web, la busqueda se realiza a través de las palabras claves conectado unas con otras a través de links, estos por tanto no deben estar rotos o se perderá todo el seguimiento.
Cuando se publica una nueva entrada, las arañas comienzan una ardua búsqueda a través de los enlaces en los archivos actuales, con la finalidad de entrelazar todas las posibles búsquedas.
Se les llama arañas porque suelen visitar muchos sitios en paralelo al mismo tiempo. Las arañas pueden arrastrarse a través de las páginas de un sitio de varias maneras, una forma es seguir todos los enlaces de hipertexto en cada página antes de haber leído todas las páginas.
Entre las tareas principales, las spiders pueden:
- Crear el índice de una máquina de búsqueda.
- Analizar los enlaces de un sitio para buscar links rotos.
- Recolectar información de un cierto tipo, como precios de productos para recopilar un catálogo.
- Buscar enlaces para saltar de uno a otro
En el siguiente vídeo encontrarás una explicación más amplia sobre la forma de buscar en Google.
