Cuando complete la página de presentación de poner su sitio web hacia adelante a un motor de búsqueda, el motor de búsqueda de araña índice voluntad de su sitio en su conjunto. Las visitas de la araña del sitio web, lee el contenido en él, los meta-tags y también sigue los enlaces en el sitio para ver los otros sitios web en la que se refiere a sus visitantes. Después de esto la araña recibe toda la información que ha recogido juntos y lo coloca en un almacén central donde está indexado.
Debido al hecho de que algunas arañas sólo indexará tantas páginas de su sitio, es aconsejable no para crear un sitio web con demasiadas páginas. De vez en cuando la araña volverá a examinar el sitio para ver si algo ha cambiado y los moderadores del buscador dictar cómo regular esta revisión se lleva a cabo. Una araña que puede indexar tantos como un millón de páginas cada día es similar a un libro, en el que hay una tabla de contenido, seguido por el contenido real y todas las referencias y enlaces que encuentra para otros sitios web en toda la búsqueda.
Algunos ejemplos de los motores de búsqueda son AltaVista, Excite, Google y Lycos. El motor de búsqueda localiza la información solicitada por mirar a través del índice en lugar de la World Wide Web. Como no todos los motores de búsqueda utilizan el mismo algoritmo, se encuentra la búsqueda de motores producen una variedad de resultados. Palabras clave y su frecuencia y la ubicación es una de las cosas que un exploraciones búsqueda algoritmo del motor para en una página web, pero también es excelente en recoger relleno de palabras clave artificial, también conocido como spamdexing.
Los algoritmos entonces examinar la forma en que página enlaza con otras páginas que permiten al motor de búsqueda para detectar lo que la página se trata de que las palabras clave de las páginas enlazadas no son diferentes a los de la página original.