Cloudflare povlači crtu: od septembra blokira botove koji hrane AI kompanije
Cloudflare je odlučio da stane između sajtova i AI kompanija koje bez pitanja skrejpuju sadržaj. Od 15. septembra ove godine platforma će podrazumevano blokirati takozvane „mešovite" veb krolere – botove koji istovremeno indeksiraju sajtove za pretraživače i koriste taj isti sadržaj za treniranje AI modela ili kao pomoćnike koji umesto korisnika pretražuju internet.
Do sada je Cloudflare svojim klijentima nudio opciju da sami blokiraju ove botove, ali sada podiže zaštitu na viši nivo i uvodi je kao standardno podešavanje. Potez je jasan signal da odnos između vlasnika sajtova i AI kompanija mora da se menja.
Internet više nije ono što je bio
Metju Prins, direktor Cloudflare-a, poručio je da je saobraćaj na internetu danas većinski ne-ljudski i da se mora brže delovati kako bi ekosistem opstao.
„Cloudflare-ovi novi alati i partnerstva daju vlasnicima sajtova veću vidljivost i komercijalne prilike, a istovremeno idu na ruku AI kompanijama čiji botovi imaju jasnu i transparentnu namenu", izjavio je Prins. „Nadamo se da će ove promene naterati mešovite krolere da razdvoje pretragu od agentske upotrebe i treniranja modela."
Ranije je saobraćaj na sajtu značio da neko gleda reklame ili plaća pretplatu. Danas AI modeli obilaze stranice u ime korisnika, vuku sveže informacije, a sajtovi od toga nemaju ništa. Cloudflare-ov zaokret pokušava da uspostavi novu ravnotežu – pravedniju i za one koji drže sajtove i za AI kompanije.
Šta se tačno menja od septembra
Od 15. septembra 2026. svi novi korisnici i novi sajtovi postojećih pretplatnika imaće podrazumevano uključenu opciju koja dozvoljava pretragu, ali blokira treniranje AI modela i agentsku upotrebu na stranicama sa oglasima. Mešoviti kroleri koji vlasnicima sajtova ne daju mogućnost da biraju da li će njihov sadržaj služiti za AI biće automatski blokirani na stranicama sa oglasima.
Korisnici besplatnih naloga takođe prelaze na ova podešavanja, osim ako se ručno ne isključe pre roka. Drugim rečima, zaštita postaje standard, a ne više opcija koju moraš sam da tražiš.
Od Pay Per Crawl do Pay Per Use
U okviru ovih promena, Cloudflare je ažurirao i svoju Pay Per Crawl funkciju koju je lansirao još 2025. Sada se zove Pay Per Use i menja logiku naplate. Umesto da se plaćanje zasniva na tome da li je bot obišao stranicu, vlasnici sajtova će biti plaćeni kada se njihov sadržaj pojavi u odgovorima AI četbotova.
Za sada su partnerstva sklopljena sa Ceramic.AI i You.com, ali iz Cloudflare-a očigledno očekuju da će se i druge AI kompanije pridružiti kako njihovi klijenti budu uključivali ovu opciju.
Posredan udarac na Gugl
Kako primećuje TechCrunch, potez Cloudflare-a indirektno gađa i Gugl. U saopštenju se navodi da „najveći pretraživač ima pristup otprilike duplo više informacija od vodećih AI kompanija jer otežava klijentima da ostanu vidljivi u pretrazi, a da pritom ne budu korišćeni i za AI."
Guglov glavni kroler, Guglbot, istovremeno indeksira sajtove za pretragu i prikuplja podatke za treniranje Džeminaja i napajanje AI funkcija poput AI Overviews i AI Mode. Gugl nudi opciju da se izdvojeno koristi kroler Google-Extended samo za tradicionalne rezultate pretrage, ali ako izdavač želi da bude uključen u AI Mode rezultate, a ne želi da njegov sadržaj trenira Guglove modele – tu nema izbora.
Cloudflare-ova nova politika direktno pokušava da natera Gugl i druge kompanije sa mešovitim krolerima da promene taktiku. Poruka je jasna: ne može više sve da prolazi pod istim uslovima.