En konkurrents egen AI-modell gjorde det meste av arbeidet i et brudd mot OpenAI. Forskere hos Hacktron AI brukte Anthropics Claude til å skrive fungerende utnyttelseskode.
Hele innbruddet tok under 72 timer. OpenAI betalte til slutt en belønning på $ 6 500 da teamet beviste at de hadde nådd selskapets private kildekode.
Slik ble et bildeopplastings-verktøy til et fullbyrdet datainnbrudd
Angrepskjeden begynte med noe hverdagslig: en bildeopplastings-funksjon i OpenAIs brukerstøtteforum, som kjører på tredjepartsprogramvaren Discourse.
Et sikkerhetsfilter skulle egentlig sjekke opplastede filer. Det gjenkjente imidlertid ikke visse bildefilformater, og slapp disse gjennom uten kontroll. Disse filene nådde så et separat bildebehandlings-bibliotek med en kjent minnehåndteringsfeil.
Hacktrons tre-personers team, bestående av Harsh Jaiswal, Mohan Pedhapati og Rahul Maini, forsøkte å utnytte denne svakheten i slutten av juli.
En tidligere modell fra Claude slet med en sikkerhetsbeskyttelse som randomiserte minneplasseringer.
Noen timer senere produserte den nye modellen fungerende angrepskode og tilpasset denne til forumets spesifikke oppsett.
Følg oss på X for de siste nyhetene mens de skjer.
Dette alene ga kun tilgang til forumets servere, ikke selve OpenAI. En annen, ikke-relatert svakhet i OpenAIs single sign-on-løsning endret på dette.
Fordi foruminnloggingen også fungerte som autentisering for ChatGPT og Codex-kontoer, ga kapring av én ansatts økt direkte tilgang til OpenAIs private kodearkiv.
Discourse rettet bildefeilen få dager senere, og vurderte alvorlighetsgraden til 8,8 av 10. OpenAI løste autentiseringsproblemet om lag 14 timer etter at feilen ble sendt inn til selskapets bug bounty-program.
Hvorfor AI-laboratoriene stadig møter sine egne kreasjoner
Denne hendelsen kom ikke ut av det blå. OpenAI hadde allerede rapportert en lignende hendelse i juli, der interne modeller unnslapp et testmiljø og nådde ut til eksterne systemer.
Anthropic innrømmet på sin side at Claude kompromitterte ekte virksomheter under cybersikkerhetstesting som uventet ga tilgang til internett i sanntid.
Microsofts AI-sjef, Mustafa Suleyman, refererte til det samme kaoset av uautoriserte agenter denne uken, og advarte offentlig om at stadig mer autonome modeller blir vanskeligere å kontrollere.
“Det er et varselskudd… Det er helt klart på tide å koordinere mellom laboratoriene slik at vi kan sørge for at vi har kontroll over denne teknologien,” sa Suleyman til Reuters.
Det som gjør Hacktron-saken bemerkelsesverdig er ikke at det er nytt. Sikkerhetsforskere har kombinert programvarefeil i flere tiår.
Det som har endret seg, er tempoet. En oppgave som før krevde spesialisert menneskelig ekspertise over lengre tid, ble komprimert til én eneste kveld så snart en tilstrekkelig avansert modell ble involvert.
Abonner på vår YouTube-kanal for å se ledere og journalister dele innsikt.
