«

»

Robot.txt

Le fichier « robot.text » contient des commandes à destination des robots d’indexation. Il doit être au format « .txt » et se trouver à la racine de votre site Web.

Il peut contenir les commandes suivantes :
– /User-agent: permet de préciser le robot concerné par les commandes suivantes.
– /Disallow: permet d’exclure certaines pages de l’indexation.
– si vous mettez « / » seul, cela signifie que toutes les pagesde votre site ne seront pas indexées.

Vous pouvez aussi: exclure toutes les pages, aucune page, autoriser un seul robot, exclure un robot ou plusieurs,
exclure une page ou plusieurs pages, exclure toutes les pages d’un répertoire ou d’un sous-dossier.