El archivo robots.txt es un recurso clave para toda página web que pretende aparecer bien posicionada por los motores de búsqueda como Google . Funciona como el instructivo para los bots, indicándoles qué secciones de tu plataforma pueden deben crawleadas y cuáles se deben excluir . La adecuada configuración de este documento sirve a evitar p