«

»

robot.txt

Le fichier robot.txt est un fichier placé à la racine du
site web et qui contient des indications destinées aux
robots des moteurs de recherche (crawlers).
Il peut par exemple demander aux robots (ou au robot
d’un moteur particulier) de ne pas indexer un
répertoire du site web (le répertoire « admin », par
exemple).
Dans ce genre de cas, passer par le fichier robot.txt est
plus simple que de modifier chaque balise meta
Robotsde chaque page du répertoire concerné.