Toute l'actualité du web se trouve ici

Comment réaliser son fichier robots.txt !

Tout d'abord à quoi sert-il ? Tout simplement à donner des informations aux robots des moteurs de recherche qui viennent parcourir votre site....

Le fichier robots.txt est un simple fichier texte qui contient donc des petites commandes, très simples, qui sont destinées à ce que l'on appelle des robots d'indexation. Le fichier doit être placé à la racine de votre de site et si il y a ce fichier, les robots d'indexation vont dans un premier temps lire le contenu de ce fichier afin de respecter les règles de parcours de vos pages que vous avez établi.
Le fichier robots.txt peut contenir deux commandes :

User-Agent : permet de spécifier sur quels robots vont s'appliquer les directives qui vont suivre. La valeur * signifie "tous les moteurs de recherche".
Disallow: permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par "/". La valeur "/" seule signifie "toutes les pages du site".

il faut que le nom du fichier soit écrit en minuscules et au pluriel :

robots.txt

et il ne doit en aucun cas contenir une ligne vide.

En bas de cet article, je vous ai mis un fichier txt contenant des exemples de commandes qui sont interprétées par les robots d'indexation. Les exemples sont suivis de commentaires sur l'effet produit sur les robots d'indexation.
Vous allez pouvoir par exemple exclure une page ou un dossier des moteurs de recherche mais également à l'aide d'une expression régulière vous allez pouvoir exclure un groupe de fichiers ou par exemple toutes les images au format JPG.

exemples.txt (2.09 Ko)