Le fichier robots.txt permet de mettre certaines barrières au crawler de Google. Il suffit de créer un fichier texte et l'importer à la racine de son site.
L'absence du fichier robots.txt est équivalent à un robots.txt vide. Avec un bon paramétrage il est possible d'interdire l'accès au robots aux pages présentant un faible intérêt pour les utilisateurs.
Enrichissez cette action en ajoutant un retour d'expérience ou en la précisant.
Discussion