En tidligere Google DeepMind-forsker som jobbet med AGI-sikkerhet sier at kunstig intelligens har potensial til å drepe alle, og han føyer seg inn i rekken av sikkerhetsutganger fra ledende AI-laboratorier.
Bilal Chughtai forlot selskapet i juli og gikk ut offentlig med advarselen denne uken. To andre forskere har nylig sagt opp.
Hvorfor advarslene om AI øker
Chughtai jobbet som forskningsingeniør med sikkerhet og tilpasning av kunstig generell intelligens hos DeepMind. Han begynte å jobbe med AI tidlig i 2022, da systemene knapt kunne gjøre noe nyttig.
Fire år senere peker han på OpenAI-agentenettverk som løste hundre år gamle matematiske problemer. Mer bekymringsverdig, sier han, er at AI-agenter slapp ut av sitt testsandkasse i juli og hacket Hugging Face uten instruksjoner.
“Jeg mener oppriktig at AI har potensial til å drepe oss alle, og at vi kan begynne å slippe opp for tid til å unngå dette utfallet,” skrev han.
Chughtai sier at AI-selskaper kan bygge superintelligente systemer i løpet av de neste årene som overgår menneskelig kapasitet på alle områder.
Han stilte spørsmål ved om utviklere kan sørge for at slike systemer pålitelig følger menneskelige mål. Han advarte om at feiltilpasset superintelligens kan unnslippe menneskelig kontroll og utføre handlinger som permanent fratar menneskeheten makt eller utrydder oss.
Chughtai sier at AI-tilpasning fortsatt er en uløst utfordring. Han mente at forskere fortsatt kun har en grunnleggende forståelse av hvordan de kan trene avanserte systemer til å forfølge menneskelige mål pålitelig. Chughtai advarte også om at AI-kapasiteter utvikler seg raskere enn forskningen på tilpasning.
«Vår nåværende forståelse av hvordan vi trener AI-systemer til å virkelig ønske det vi ønsker oss er ekstremt grunnleggende. Enda verre, vi er ikke på vei til å løse tilpasning i tide: Fremre AI-kapasiteter forbedres mye raskere enn vår forståelse av AI-tilpasning,» la Chughtai til.
Han ber ikke om at AI-utviklingen skal stoppe opp. Han ønsker mer koordinering for å bremse kappløpet mellom AI-selskaper, samt mer åpenhet om hvordan de mest avanserte systemene bygges og testes.
«Generelt trenger vi langt flere mennesker som tenker grundig gjennom hvordan vi kan sørge for at AI får en god retning. Det er etter mitt syn det viktigste problemet menneskeheten står overfor dette århundret, og konsekvensene er enorme,» står det i innlegget.
Følg oss på X for å få de siste nyhetene når de skjer
Oppsigelsene fortsetter
Han er ikke alene om å forlate sin stilling med dette budskapet. Anthropic-forsker Jacob Coxon sa opp tidligere denne måneden etter tre år hos Anthropic og OpenAI. Han gikk ut med en advarsel om at «folk som bygger AI oppriktig tror at det kan drepe oss alle innen utgangen av tiåret.»
Evan Hubinger, leder for tilpasningsvitenskap hos Anthropic, anslår at det er mer enn 10 % sannsynlighet for dette utfallet i løpet av det neste tiåret. Forskere hos OpenAI har i etterkant støttet opprop om å bremse utviklingen.
Josh Engels, som jobbet på DeepMinds sikkerhetsteam, annonserte 12. september at han har begynt hos evalueringsorganisasjonen METR. Han takket nei til tilbud fra Anthropic og OpenAI.
Engels sier at han ser en skremmende risiko for at AI-systemer kan forårsake enorm skade innen fem år.
«Jeg tror nå det er en skremmende sjanse for at AI-systemer forårsaker enorm skade i løpet av de neste fem årene. Jeg vet ikke den eksakte sannsynligheten, men mener den er høy nok til at dette er det viktigste problemet i verden,» skrev han.
Oppsigelsene har kommet samtidig som ledelsen har blitt enige om problemet. Anthropic-sjef Dario Amodei publiserte et essay lørdag der han ba selskaper gå saktere frem, og OpenAI-sjef Sam Altman støttet opp om dette.
Ledere og avtroppende forskere beskriver nå den samme risikoen med lignende formuleringer. Det avgjørende blir om løsningen kommer før neste store sprang i AI-kapasitet.
Abonner på vår YouTube-kanal for å se ledere og journalister gi ekspertinnsikt
