Nvidia predstavlja softversku platformu za sprječavanje nepredviđenog ponašanja AI agenata

„Ne možete dopustiti agentima da slobodno lutaju tvrtkom, stoga morate pronaći način da ih zadržite u kontroliranom prostoru”, izjavio je u ponedjeljak izvršni direktor Nvidije Jensen Huang za emisiju „Squawk Box” na kanalu CNBC.

Huang je rekao da je nova platforma zapravo „preglednik za agente” koji pruža sustav ograničavanja pristupa, dopuštajući agentu pristup samo onim resursima koji su mu potrebni za obavljanje zadatka.

Predstavljanje Nvidijine platforme *Open Agent Safety Platform* uslijedilo je nakon što su tvrtke poput OpenAI-ja, Anthropica, Mete i Googlea izvijestile o nedavnim incidentima u kojima su njihovi modeli umjetne inteligencije izašli iz izoliranih okruženja te pokušali hakirati druge tvrtke i pristupiti njihovim računalnim sustavima.

Predstavnik Nvidije izjavio je novinarima tijekom nedjeljnog razgovora da je njihova platforma mogla spriječiti incident s platformom Hugging Face, do kojeg je došlo u srpnju. Tada su modeli OpenAI-ja izašli iz kontroliranog okruženja, pristupili otvorenom internetu i prodrli u sustav Hugging Facea, tvrtke koja upravlja platformom otvorenog koda za programere.

„Svaki je sigurnosni incident jedinstven i moramo ih sve detaljno proučiti”, rekao je Justin Boitano, potpredsjednik odjela za poslovnu umjetnu inteligenciju u Nvidiji, trenutačno najvrjednijoj tvrtki na svijetu. „Prema našim saznanjima, Hugging Face je izvijestio o više od 17.000 agenata koji su napadali njihovu infrastrukturu, a ti su napadi trajali danima i tjednima.”

Nvidia se nalazi u središtu procvata generativne umjetne inteligencije još od predstavljanja ChatGPT-a prije gotovo četiri godine, budući da su grafički procesori tog proizvođača ključni za razvoj velikih jezičnih modela i usluga umjetne inteligencije koje nude pružatelji usluga u oblaku velikih razmjera (*hyperscaleri*). No, Huang se u novije vrijeme istaknuo kao ključan glas u raspravi o sigurnosti umjetne inteligencije, tvrdeći da su mnoge sigurnosne brige zapravo inženjerski izazovi koji se mogu riješiti primjenom računalnih znanosti i razvojem proizvoda.

„Morate razmišljati o tome što se moglo učiniti i koje je rješenje za to”, rekao je Huang u podcastu s Ezrom Kleinom iz *The New York Timesa*, objavljenom prošlog tjedna, osvrćući se na nedavne incidente. „U budućnosti unaprijedite svoj proces kako biste spriječili ponavljanje ovakvih situacija.”

Izvršni direktor tvrtke Anthropic, Dario Amodei, prije dva tjedna potaknuo je burnu raspravu u industriji pozvavši razvojne programere modela umjetne inteligencije da uspore tempo napretka zbog straha da bi ti modeli mogli izmaknuti kontroli – stajalište koje su podržali i Sam Altman iz OpenAI-ja te Elon Musk iz SpaceX-a.

Nvidijina nova ponuda predstavlja inženjersko rješenje za problem sigurnosti agenata, izjavio je Boitano.

„Nedavni incidenti ukazali su na temeljni izazov povezan s agentima umjetne inteligencije: sigurnosne mjere na razini samog modela nisu dovoljne za kontrolu onoga čemu agenti mogu pristupiti ili što mogu učiniti”, rekao je Boitano.

Jedna od komponenti platforme zove se Nvidia OpenShell; ona se pokreće na središnjim procesorima i postavlja ograničenja na mogućnosti agenata. Nvidia je također najavila sustav Sentry, koji nadzire agente i radi na mrežnim čipovima, a ne na procesorima (CPU) ili grafičkim procesorima (GPU).

Dio softvera je otvorenog koda, a Nvidia svoju platformu naziva referentnim dizajnom, što znači da je zamišljeno da partneri na temelju nje razvijaju proizvode i plasiraju ih na tržište.

Kao partnere Nvidia je navela tvrtke Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM i Intel. Nvidia također surađuje s tvrtkom Anthropic na integraciji agenata kojima se upravlja putem oblaka (cloud-managed agents) sa sustavom OpenShell.