El documento robots.txt es una elemento esencial para toda sitio que busca estar bien posicionada por los buscadores como Google . Opera como un mapa para los bots, indicándoles qué páginas de tu web pueden están rastreadas y cuáles evitar. La adecuada configuración de este fichero sirve a solucionar ir al sitio web problemas de indexación ,