Poslední týdny plní zpravodajská média úniky AI agentů ze sandboxů a jejich následné hackování firem i státních institucí. Kauzu Hugging Face postupně doplnili splašení agenti Anthropicu, Googlu a největším průšvihem je OpenAI a hackování australského vládního portálu, odkud agent stahoval neveřejná medicínská data.
Odpovědí má být ochrana na hardwarové i softwarové úrovni, na které mimo další pracuje Nvidia. Ta představila Open Agent Safety Platform, která se má postarat o izolaci agentů, kteří se při své činnosti stanou kybernetickou hrozbou. Skládá se především z hardwarové části Sentry a softwarové platformy OpenShell.
Nezávisle na modelu
OpenShell, představený v březnu na konferenci GTC, je dostupný s otevřeným zdrojovým kódem a k dispozici všem AI společnostem. Funguje s otevřenými i uzavřenými modely a izoluje agenty na úrovni jádra operačního systému. Pravidla ve formátu YAML omezují práci se soubory a nástroji i používání přihlašovacích údajů a sítě. Systém zároveň zaznamenává akce agentů a vynucuje omezení mimo samotný model a řídicí software agenta.
Software je dostupný přes vývojářské zdroje Nvidie a GitHub a na procesorech Nvidia Vera má podle vývojářů pracovat s minimální režií. Otevřený kód umožňuje rozšíření na platformy ARM a Intel, takže vývojáři mohou podporu přizpůsobit i jinému výpočetnímu hardwaru.
Hardwarová část Sentry je součástí referenčního návrhu a běží na oddělené důvěryhodné doméně, odkud nepřetržitě sleduje chování agentů. Při pokusu překročit softwarovou hranici je systém izoluje a zablokuje v řádu milisekund. Mimo jiné kontroluje požadavky a získané odpovědi, využívá množství telemetrických dat, ověřuje identitu agentů, monitoruje zacházení se získanými daty nebo kontroluje využívání API. Od samotného prostředí agenta je přitom systém kompletně oddělen.
Viceprezident Nvidie Justin Boitano tvrdí, že platforma mohla zabránit letošnímu útoku agentů na Hugging Face, pokud by ji OpenAI využívala. Odborníci ale zatím upozorňují na chybějící benchmark a srovnávací testy, které by funkčnost řešení exaktně ověřily a případně porovnaly s dalšími platformami pro kontrolu agentické AI.
Zdroj: Wired
ČLÁNKY DO MAILU