C’est un problème qui touche l’ensemble des créateurs sur le web. L’hyper-agressivité des robots (« crawlers ») de l’intelligence artificielle, qui ne respectent pas la balise robot.txt, affecte grandement la capacité des sites à servir leurs usagers.Et éventuellement gonfle leurs coûts en bande passante. Wikimedia s’en plaint dans une récente tirade

Les « crawlers » venus copiés leurs images ralentissent la circulation des données et risquent à tout moment de causer des interruptions de services par leur gourmandise. Ces robots viennent de dizaines de milliers d’adresses IP différentes et font une requête HTTP à la fois, afin de se camoufler dans la circulation normale des usagers d’un site. Conséquence parmi d’autres; dans bien des cas, le coût de la bande passante gonfle. Ainsi non seulement les logiciels d’intelligence artificielle copient sans vergogne le travail des créateurs mais en plus, ils les font payer pour ça!

Source : Wikimedia Commons/ logo de
Wikimedia Commons Logo / Auteur : Fondation Wikimedia ?/ Creative Commons Attribution-Share Alike 4.0 International license