La Importancia De La Robots.txt File

un problema muy pequeño, pero va a causar problemas si se hace incorrectamente. Por último, no hay ningún comando Permitir. Usted no puede decir el webcrawler qué mirar, sólo lo que no mirar at.If sigues siendo curioso sobre el archivo robots.txt se pueden encontrar muchos ejemplos más complejos en línea. Sólo trate de uno de sus sitios web favoritos y busque su archivo robots.txt. Por ejemplo, usted puede ir a https://www.cnn.com/robots.txt. Si necesita ayuda para crear un archivo robots.

txt para su sitio, hay un montón de lugares en línea que va a crear el archivo para usted de forma gratuita. Un ejemplo es https://www.seochat.com/seo-tools/robots-generator/. A pesar de su simplicidad, aparentemente, este archivo puede hacer o romper las posibilidades de su sitio con los motores de búsqueda. Asegúrese de tener su archivo robots.txt en su lugar y el formato correcto hoy.