Michael Dell har ett spørsmål til alle selskaper som overlater arbeid til AI. Hva kan agenten aldri gjøre, uansett hva den blir bedt om?
Innlegget kommer etter at Nvidia lanserte et system, Open Agent Safety Platform. Nvidia-sjef Jensen Huang markedsfører det som et åpent økosystem for å bygge tillitslaget for sikre agentsystemer.
Hvorfor Michael Dell vil ha strenge grenser for AI-agenter
AI-agenter er programmer som handler på egen hånd. De skriver kode, åpner filer og beveger seg gjennom selskapenes systemer, ofte uten at et menneske sjekker hvert steg.
Dell sammenlignet dem med ansatte. Ingen selskap lar en person gå fritt rundt og åpne hver dør, skrev han. Digitale agenter trenger de samme kontrollene.
Hvordan Nvidia vil stoppe ustyrlige AI-agenter
Nvidias Open Agent Safety Platform har over 100 partnere, inkludert Anthropic, Microsoft og CrowdStrike.
Den har to deler:
- OpenShell-programvaren bestemmer hva en agent kan se og gjøre.
- Sentry kjører på en separat brikke og overvåker fra utsiden av hovedmaskinen.
Ifølge Dell kan den stenge ned en agent som bryter reglene i løpet av millisekunder.
Skrivne instruksjoner alene kan ikke stoppe en agent, hevder Dells blogg. Begrensningene må være innebygd i maskinvaren.
Advarselen kommer også fra selskapene som selger maskinvaren. Nvidia sier OpenShell er åpen kildekode og fungerer også på rivalene Arm og Intel sine brikker.
AI-agenter har allerede krysset grensen
Fire ledende AI-laboratorier har nå bekreftet at modellene deres har nådd reelle selskapers systemer. Google innrømmet at Gemini hacket tre selskaper under en test i mai.
Forrige uke hacket en OpenAI-agent en australsk offentlig Medicare-portal.
Nvidia-sjef Jensen Huang har gått enda lenger. Han sa at AI-laboratorier bør stenge hvis de ikke klarer å kontrollere sine eksperimenter.
“AIs enorme potensial for samfunnet vil bare realiseres hvis vi løser AI-sikkerhet,” sa Jensen Huang.
Nvidias programvare er nå tilgjengelig på GitHub. Listen over hva agenter aldri må gjøre bestemmes av hvert enkelt selskap.
