La Importancia De La Robots.txt File

Despite la importancia del archivo robots.txt en obtener su sitio web indexados con los principales motores de búsqueda, muchos webmasters no ofrecen uno en su sitio. ¿Qué es el archivo robots.txt que usted pide? Si usted no sabe, usted está lejos de estar solo. El archivo robots.txt es un archivo de texto simple (sin HTML) que se coloca en el directorio raíz de su sitio web con el fin de decirle a los motores de búsqueda las páginas de índice y para skip.

When un motor de búsqueda envía su webcrawler a su sitio, uno de las primeras cosas que el webcrawler va a hacer es buscar en el directorio raíz para el archivo robots.txt. Un archivo robots.txt formateado correctamente constará de varios registros, proporcionando a cada instrucciones para una búsqueda-bot particular. Un registro general constará de dos componentes, el primero se llama el agente de usuario y es donde aparece el nombre de la búsqueda-bot. La segunda línea consiste de una o más líneas "no permitir".

Estas líneas decirle al webcrawler que no deben ser indexados archivos o carpetas (es decir, una carpeta cgi-bin) .Si actualmente tener un sitio web y no tiene un archivo robots.txt, puede crear uno fácilmente. Como se mencionó anteriormente, los archivos son texto plano, por lo que sólo abren el bloc de notas y guarde el archivo en el archivo robots.txt. La mayoría de los webmasters pueden utilizar un registro que se aplicará a todos los rastreadores de motores de búsqueda.

Una vez que haya abierto el bloc de notas escriba lo siguiente: User-agent: * Disallow: El "*" se aplica esta regla a todos los robots. En este ejemplo, no hay nada que aparece en la línea de no permitir. Esto le dice al robot para indexar todo el sitio. También puede introducir una ruta de carpeta aquí como "/privada" si hay una carpeta que no debe ser indexada. Esto puede ser muy útil si usted todavía está probando una parte de su sitio web o una sección está aún en construction.Now que usted sabe lo que debe ir en su archivo robots.

txt, hay varios errores comunes que se cometen al crear estos archivos. Nunca introducir notas o comentarios en el archivo ya que estos elementos pueden causar confusión para el webcrawler. Además, el formato debe ser siempre el agente de usuario en la primera línea, seguida de la disallow (s). No invierta el orden. Otro error común consiste en utilizar el caso incorrecto. Si la carpeta no permitido es /privada, asegúrese de que el archivo robots.txt no muestra la carpeta como /privada.

Parece