Best Robots.txt File!

Un fichier robots.txt est une sorte de point d'information et une carte de visite deux en un pour les crawlers. Un administrateur de site peut donner des informations ou des directions aux robots des moteurs de recherche qui se baladent sur son site. Libre à lui de définir ce qu'il permet et ne permet pas aux robots.Ces fichiers sont utiles pour le référencement. Mais en général, ils ne sont pas des plus intéressants. Celui-ci est vraiment drôle. Les interdictions sous-entendent un réel sens de l'humour chez Last.fm!

Si vous voulez voir le fichier dans toute sa gloire, c’est par ici!

Peut-être qu’on devrait s’y mettre nous aussi. Vous avez des suggestions?

BuzzFeed]

Tags :