Best Robots.txt File!

Un fichier robots.txt est une sorte de point d'information et une carte de visite deux en un pour les crawlers. Un administrateur de site peut donner des informations ou des directions aux robots des moteurs de recherche qui se baladent sur son site. Libre √† lui de d√©finir ce qu'il permet et ne permet pas aux robots.Ces fichiers sont utiles pour le r√©f√©rencement. Mais en g√©n√©ral, ils ne sont pas des plus int√©ressants. Celui-ci est vraiment dr√īle. Les interdictions sous-entendent un r√©el sens de l'humour chez Last.fm!

Si vous voulez voir le fichier dans toute sa gloire, c’est par ici!

Peut-√™tre qu’on devrait s’y mettre nous aussi. Vous avez des suggestions?

BuzzFeed]

Tags :
  1. Il faut avoir lu Asimov ūüôā

    Les 3 lois sont (dnas l’ordre de priorit√©) :

    1) Ne pas faire de mal aux humains
    2) Toujours obéir aux ordres des humains
    3) Tout faire pour conserver son intégrité physique

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Publicité