Définition :
Robots.txt

Le  robots.txt est un fichier texte placé à la racine du domaine et permettant de donner des instructions d’indexation aux robots des moteurs de recherche via une syntaxe standard. Ce fichier texte doit être placé dans l’url suivante : https://www.siteweb.com/robots.txt. C’est le premier fichier vers lequel les robots d’indexation de Google se dirigent.