Annuaire pour le Référencement
et la Création de Site Internet |
|
| |
Comment réaliser un fichier Robots.txt
pour interdire l'indexation |
Le fichier
robots.txt est un fichier texte contenant des commandes à destination des
robots d'indexation des moteurs de recherche
Comment
réaliser un fichier Robots.txt pour interdire l'indexation de certaines
pages d'un site par les moteurs de recherche
Voici une
liste de sites vous expliquant tout ceci.
Les propriétaires de site
Web utilisent le dossier / fichier robots.txt pour donner des instructions sur
leur site web pour les robots, c'est ce qu'on appelle le protocole d'exclusion
des robots.
Le / fichier robots.txt
est un fichier accessible au public.
Tout le monde peut voir les sections de votre serveur que vous ne voulez
pas que les robots utilisent.
|