Avoir un robots.txt clair et précis

Le fichier robots.txt permet de mettre certaines barrières au crawler de Google. Il suffit de créer un fichier texte et l'importer à la racine de son site.

L'absence du fichier robots.txt est équivalent à un robots.txt vide. Avec un bon paramétrage il est possible d'interdire l'accès au robots aux pages présentant un faible intérêt pour les utilisateurs.

Discussion
Connectez vous pour participer à la discussion
Donnez votre avis !

Enrichissez cette action en ajoutant un retour d'expérience ou en la précisant.