Cloudflare a lancé un nouvel outil gratuit qui empêche les robots des entreprises d’IA de scraper les sites web de ses clients pour former de grands modèles de langage. Le fournisseur de services cloud met cet outil à disposition de l’ensemble de ses clients, y compris ceux des plans gratuits. « Cette fonctionnalité sera automatiquement mise à jour au fil du temps lorsque nous identifions de nouveaux empreintes des robots néfastes qui consomment largement le web pour l’entraînement de modèles, » a déclaré l’entreprise. Dans un article de blog annonçant cette mise à jour, l’équipe de Cloudflare a également partagé des données sur la manière dont ses clients réagissent à l’essor des robots qui scrapent du contenu pour entraîner des modèles d’IA génératifs. Selon les données internes de l’entreprise, 85,2 % des clients ont choisi de bloquer même les robots IA qui s’identifient correctement pour accéder à leurs sites. Cloudflare a également identifié les robots les plus actifs de l’année précédente. Le robot Bytespider détenu par Bytedance a tenté d’accéder à 40 % des sites web sous la responsabilité de Cloudflare, et GPTBot d’OpenAI a essayé sur 35 %. Ils constituaient la moitié des quatre principaux robots IA crawlers en termes de nombre de requêtes sur le réseau de Cloudflare, avec Amazonbot et ClaudeBot. Il semble très difficile de bloquer pleinement et de manière cohérente les robots IA qui accèdent au contenu. La course aux armements pour construire des modèles plus rapidement a conduit à des cas où des entreprises contournent ou enfreignent ouvertement les règles existantes sur le blocage des scrapers. Perplexity AI a récemment été accusé de scraper des sites web sans les autorisations requises. Mais le fait qu’une entreprise de backend à l’échelle de Cloudflare prenne des mesures sérieuses pour tenter de mettre fin à ce comportement pourrait donner des résultats. « Nous craignons que certaines entreprises d’IA cherchant à contourner les règles pour accéder au contenu continueront à s’adapter pour éviter la détection des bots, » a déclaré l’entreprise. « Nous continuerons à surveiller et à ajouter plus de blocages de bots à notre règle de Scrappers et Crawlers IA et à faire évoluer nos modèles d’apprentissage automatique pour aider à maintenir Internet comme un endroit où les créateurs de contenu peuvent prospérer et garder un contrôle total sur les modèles pour lesquels leur contenu est utilisé pour l’entraînement ou l’inférence. »
« Survivre cet été sur Internet »
Un après-midi d’août, alors qu’un suprémaciste blanc conduisait une voiture à travers une foule de manifestants pacifiques à Charlottesville, en
