Se define como Robots txt a los archivos que se sitúan en la raíz de los sitios web.

Para que estos textos funciones tienen que ser sin formato y que cumplan el estándar de exclusión de Robots, además en estos archivos se pueden incluir uno o varios grupos y tener en cuenta que cada uno de ellos puede bloquear o permitir el acceso a una ruta de archivo directa a un sitio web.

5 Ejemplos de Robots txt

  1. User –agent *disallow:/: con este tipo de robots se evita que todos los puedan acceder a algún tipo de contenido, puesto que con este código puedes especificar el tipo puesto que en este caso con un asterisco se señalaran a todos. Ya que con disallow / los robots serán difícil de acceder para otros lados.
  2. User-agent* Disallow: cuando el disallow se deja vacío es más fácil acceder los robots a cualquier tipo de contenido.
  3. Disallow:/html: este código permite que no todos los robots no pasen por contacto html ni ningún archivo html.
  4. User –agent:google: con este código se usa para que ningún robot pase por el lugar sino que debe ser por el bot de
  5. Los robots. Txt no es vinculante: este tipo de robots suele ser ignorado muchas veces por los rastreadores.