Definitivamente no quieres tanto de estas páginas para ser rastreadas y terminamos con el motor de búsqueda que clavar en busca de spam por el contenido duplicado en las dos versiones similares de una razón page.Another es posible que desee decirle a las arañas no a la araña un página sería para ahorrar algo de ancho de banda mediante la exclusión de algunas de las imágenes, hojas de estilo o javascript. Con el archivo robot.txt puede ser muy específico acerca de lo que desea spidered y no spidered.What Qué significa realmente el archivo robots.txt? El archivo robots.
txt es un archivo de texto (no HTML) que puso en su sitio web para informar a los robots de búsqueda las páginas de su sitio que le gustaría rastreadas y cuáles usted don t quieren que las arañas para rastrear. La colocación de un archivo robots.txt en su sitio no es un mandato de los motores de búsqueda, sin embargo, los motores de búsqueda se suele seguir sus instrucciones que poner en este archivo. Este proceso es similar a poner un letrero en su sitio web diciendo prohibido la entrada de una puerta abierta.
Este archivo no es un muro de fuego por lo que el motor de búsqueda todavía puede araña su manera site.Another usted podría decir a los motores que los archivos y carpetas que no araña sería con el uso de una metaetiqueta robots. Algunos motores de don t leer metatags, por lo que la información de la metaetiqueta robots no se verían en absoluto por ciertos motores. La mejor forma de ser específico para todos los motores serían con el uso del archivo robots.txt .... no robots metatags.Where colocar el archivo robots.txt es de vital importancia.
Debe estar en el directorio principal o los motores de búsqueda no se encuentra el archivo. Los motores de búsqueda no buscan en todo el sitio, se ven en el directorio principal y si ellos no t encontrar el archivo existe, el motor sería asumir que no existe tal archivo. Como resultado de ello, a continuación, el motor sería índice de todo lo que encuentra