Qué es el archivo robots.txt y para qué sirve

Qué es el archivo robots.txt y para qué sirve. Los buscadores son codiciosos por naturaleza. Quieren indexar toda la información posible, así que cuando llegan a tu sitio lo rastrean todo. El problema surge cuando quieres evitar que ciertas páginas se incluyan en sus índices y esto puede influir en el posicionamiento seo de tu … Sigue leyendo Qué es el archivo robots.txt y para qué sirve