Le fichier Robots.txt - AFS

AFS et les Robots

Product
AFS
AFS_Version
7.10
Category
Technical Notes

Les robots parcourent les sites en suivant quelques règles. La première d’entre elles est de respecter les consignes de parcours de site inscrites dans le fichier robots.txt.

Ce fichier doit être placé à la racine du site internet, et précise les pages autorisées ou interdites aux robots et/ou la liste des robots autorisés.

Exemple de fichier robots.txt permettant d'interdire à tous les robots l'accès à la partie recherche du site web :

User-Agent:* #tous les robots
Disallow:/<ma_section> #sont interdits d'accès à cette section

ANTIDOT recommande très fortement de créer un fichier robots.txt afin de contrôler l’impact des robots sur le nombre de requêtes.

Pour plus d'informations sur le protocole d’exclusion des robots :

- robotstxt.org

- CommentCaMarche - Les Robots

Plusieurs cas de figure se présentent :

  • Soit l'on souhaite filtrer l'accès des robots (aucun ou certains choisis), il est alors nécessaire de placer un fichier robots.txt sur le portail client et sur le front AFS.
  • Soit l'on souhaite laisser l'accès à tous les robots, aucun fichier robots.txt n'est nécessaire.

Il est aussi possible d'utiliser le filtrage par adresse IP pour bloquer l'accès à certain robots (qui ne respecteraient pas le fichier robots.txt par exemple).

  • Dans le cas d'un contrat SaaS, contacter le support Antidot pour mettre en place ce filtrage côté front AFS.
  • En licence, ce filtrage est entièrement sous la responsabilité du client.