Le fichier « robots.txt » est un fichier utilisé pour informer les moteurs de recherche des pages Web qui peuvent ou ne peuvent pas être explorées sur un site Web. Il s’agit d’un fichier de texte simple qui est placé à la racine d’un site Web et qui est accessible via une URL standard,…

Voir l’article original sur cette page :
Article original