Cloudflare, vodeća tvrtka za internetsku sigurnost web prometa, predstavila je novi servis koji korisnicima omogućuje, jednim klikom, blokirati AI botove. Dostupan svim Cloudflare korisnicima, uključujući i one na besplatnom planu.
Vijest, iz kompanije Cloudfare, koja pruža mreže usluge, zaštitu od kibernetičkih napada i registraciju domena, mnogima je dobrodošla, i dolazi u trenutku kad su kreatori sadržaja i izdavačke kuće sve nervozniji. Potražnja za sadržajem za obuku modela umjetne inteligencije vrtoglavo rast a sve se rabote oko toga odigravaju „ispod stola“. Gotovo svi se slažu da je neovlašteno prikupljanje podataka i nepoštivanje intelektualnog vlasništva najgori nuzprodukt industrije umjetne inteligencije.
Novi servis, dostupan svim Cloudflare korisnicima, uključujući i one na besplatnom planu, predstavlja proaktivan korak u kontinuiranoj borbi protiv neželjenih AI pretraživača. “Jasno čujemo da klijenti ne žele da AI botovi posjećuju njihove web-stranice, a posebno oni koji to čine nepošteno,” izjavio je glasnogovornik Cloudflareja.
Uspon AI botova
Istraživanje kompanije Cloudflare otkriva aktivnosti AI botova diljem interneta. Među najaktivnijima su Bytespider, kojim upravlja ByteDance (tvrtka iza TikToka), Amazonbot, ClaudeBot i GPTBot. Bytespider predvodi skupinu, pristupajući preko 40 posto web-stranica zaštićenih Cloudflareom, a blisko ga slijedi GPTBot s 35,46 posto.
Ove brojke jasno ukazuju tko rovari webom više od hakera: AI pretraživači. “Vrijednost originalnog sadržaja u velikim količinama nikada nije bila veća,” napomenuo je Cloudflare tim, ukazujući u svom postu na nedavne kontroverze poput Googleovog ugovora od 60 milijuna dolara s Redditom za pristup sadržaju te navode primjer skandala o neovlaštenom korištenju glasova.
Slaba briga vlasnika web sajtova
Zanimljivo, Cloudflareova analiza pokazuje nesrazmjer između aktivnosti botova i svijesti i djelovanja vlasnika web sajtova. Dok su AI botovi pristupili oko 39% od milijun najpopularnijih internetskih stranica koje koriste Cloudflare, samo 2,98% njih poduzelo je mjere za blokiranje ili osporavanje tih zahtjeva.
Podaci također otkrivaju korelaciju između popularnosti web-stranice i vjerojatnosti da će je ciljati AI botovi. Prvih 10 najposjećenijih stranica zabilježilo je 80 posto pristupa od strane AI botova, ali njih 40 posto su implementirali mjere blokiranja. Ovaj postotak značajno opada za manje popularne stranice, sugerirajući potencijalni jaz u znanju ili resursima u rješavanju ovog problema.
Igra mačke i miša
Cloudflareov blog post zadire u sofisticirane metode koje neki operateri botova koriste kako bi izbjegli otkrivanje. To uključuje lažiranje kako bi oponašali legitimne web-preglednike. Međutim, tvrtka piše da su njezini modeli strojnog učenja dosljedno identificirali takve varljive taktike. “Naš globalni model strojnog učenja uvijek je prepoznavao ovu aktivnost kao bot, čak i kada operateri lažu” izjavio je Cloudflare, prikazujući grafikone koji demonstriraju sposobnost njihovog sustava da ispravno ocijeni i identificira prikrivene AI botove.
Poziv na akciju
Omogućavanje blokiranja AI botova jednim klikom dio je šire Cloudflareove strategije za jačanje zaštite sadržaja i vlasnika web-stranica. Tvrtka je također uspostavila kanale za korisnike da prijave AI pretraživače koji se neposlovno ponašaju. “Strahujemo da će neke AI tvrtke koje namjeravaju zaobići pravila za pristup sadržaju uporno prilagođavati svoje metode kako bi izbjegle otkrivanje botova,” upozorio je Cloudflare, i obećao da će kontinuirano ažurirati svoje procese o AI scraperima i pretraživačima i dalje razvijati svoje modele strojnog učenja.
Izvor: Bug.hr