Así que ahora el formulario Agregar URL también tiene una prueba: muestra algunas onduladas cartas diseñadas para engañar "cartas-adivinadores" automatizado; se le pedirá que introduzca las letras que ve - algo así como un examen de la vista-chart parar contra spambots. Cuando el robot de Google obtiene una página, entresaca todos los enlaces que aparecen en la página y los añade a una cola para su posterior rastreo. Googlebot tiende a encontrarse con baja de spam porque la mayoría de los autores web vinculan sólo a lo que ellos creen que son páginas de alta calidad.
Por vínculos recolección de todas las páginas que encuentra, Googlebot puede construir rápidamente una lista de enlaces que pueden cubrir amplios alcances de la web. Esta técnica, conocida como el rastreo profundo, también permite que el robot de Google para sondear las profundidades de sitios individuales. Debido a su escala masiva, rastreos profundas pueden llegar a casi todas las páginas de la web. Debido a que la web es vasta, esto puede tomar algún tiempo, por lo que algunas páginas puede ser rastreado sólo una vez al mes.
Aunque su función es simple, Googlebot debe programarse para manejar varios desafíos. En primer lugar, ya que el robot de Google envía solicitudes simultáneas de miles de páginas, la cola de "visitar pronto" URLs debe ser constantemente examinado y comparado con las URL que ya están en el índice de Google. Duplicados en la cola deben ser eliminados para evitar que Googlebot ir a buscar la misma página de nuevo. Googlebot debe determinar con qué frecuencia volver a visitar una página. Por un lado, es una pérdida de recursos para volver a indexar una página sin cambios.
Por otro lado, Google quiere volver a indexar páginas cambió para entregar hasta a la fecha de l