Jednou z nejpalčivějších otázek současného internetu je způsob zpoplatnění AI crawlingu. Při něm roboti AI společností (OpenAI, Amazon, Google, Meta) procházejí web a obsah následně využívají pro odpovědi v samotných chatbotech.
Původní tvůrci obsahu ale z nich samozřejmě nemají nic. Jen naprostý zlomek uživatelů (kolem 2 %) se proklikává z chatbotů na původní weby, kde by došlo k monetizaci reklamou. Řešení hledá iniciativa RSL (Really Simple Licensing), do které se zapojily velké technologické i vydavatelské společnosti.
Jak to bude celé fungovat?
RSL bude technicky stavět na protokolu robots.txt, tedy souboru, který v rámci každého webu vymezuje pravidla pro crawling. Ve výchozím stavu mohou roboti tento soubor ignorovat a pravidly se neřídit, RSL ale chce s velkými AI společnostmi vyjednat opak. Nová pravidla v robots.txt by měla obsahovat typ licence, která by určovala i způsob zpoplatnění. V současné době se přitom počítá se třemi variantami:
- pay-per-crawl – web dostane zaplaceno za každou návštěvu robota,
- pay-per-inference – web dostane zaplaceno v okamžiku, kdy AI model využije informace z webu k vygenerování odpovědi,
- crawling zdarma – web nevyžaduje platit ani za návštěvu, ani za využití údajů.
Aby se RSL nemusela spoléhat pouze na kolektivní dohody mezi AI společnostmi a tvůrci obsahu, hledá i spolehlivé technické řešení. K tomu by měla sloužit spolupráce s Fastly, jedním z velkých provozovatelů sítí pro doručování obsahu CDN (síť serverů rozmístěných po světě, která urychluje načítání webového obsahu tím, že ho doručuje uživatelům z nejbližšího dostupného serveru).
Protože se tato síť přímo stará o správu webového obsahu, má možnost blokovat přístup na web. Ve své CDN by tedy Fastly mohlo vynucovat dodržování nových pravidel, které stanoví RSL. Pokud by AI společnost nedodržovala pravidla zpoplatnění, Fastly by na weby crawlery nepustilo.
Toto konkrétní technické řešení ostatně není nové. K blokování AI crawlerů pomáhá i Cloudflare, největší globální CDN hráč. V jeho síti jsou dokonce AI roboti blokováni ve výchozím stavu. RSL ale nad technickým řešení buduje i licenční pravidla.
Zdroj: The Verge
