En forsker hos Anthropic, Jacob Coxon, sa at han har sagt opp i selskapet og påstår at Anthropic og OpenAI raser mot selvforbedrende superintelligens og gambler med menneskeliv.
Forskeren sa at han har brukt de siste tre årene på pre-treningsarbeid i begge selskapene. Han delte påstandene sine i en serie innlegg på X.
Anthropic-forsker går ut med dyster advarsel til alle som fortsatt er igjen
Coxon hevdet at teknologienes utvikling er kraftig undervurdert. Han påstår at kommende systemer vil kunne hacke alt, forandre ethvert felt over natten, og tilegne seg reell makt og ressurser.
Han hevdet også at private samtaler innad i bransjen skiller seg kraftig fra det som blir formidlet offentlig. Ifølge Coxon myker ledere opp ordbruken for pressen, samtidig som de uttrykker frykt privat.
“Folkene som bygger AI tror oppriktig at det kan drepe oss alle innen slutten av tiåret. Dette er ikke et markedsføringsstunt,” sa han. “Ingen annen menneskelig aktivitet medfører denne typen fare.”
Coxon trakk også et skille mellom sine to tidligere arbeidsgivere. Han mener at mange i OpenAI ennå ikke har internalisert det han kaller de sivilisatoriske konsekvensene, mens Anthropic forstår dem, men likevel holder seg fastlåst i et kappløp om å komme først.
Han er en av mange ansatte som har brutt ut denne året. Anthropics Safeguards Lead, Mrinank Sharma, sa opp i februar.
Joshua Achiam, tidligere sjefsfuturist i OpenAI, skrev 1. september at ville AI-systemer vil reprodusere seg fritt og forfølge penger og makt.
Følg oss på X for de siste nyhetene idet de skjer
Oppfordring til koordinering
Coxon beskrev det å gå inn i det han kaller sluttspillet som et overmodig veddemål. Han mente en slik beslutning ikke bør tas via Slack i et privat selskap.
Han uttrykte likevel optimisme om koordinering. Han mente at Hugging Face-angrepet har gjort fartsavtaler mellom amerikanske laboratorier mer realistisk.
Begge selskapene har allerede støttet en variant av denne ideen. Mer enn 1100 ansatte fra ledende laboratorier signerte “Pacing the Frontier”-brevet i juli, inkludert Anthropics administrerende direktør Dario Amodei og OpenAIs sjefsforsker Jakub Pachocki.
“Vi ber den amerikanske regjeringen støtte en internasjonal innsats for å utvikle tekniske og styringsverktøy som trengs for bevisst å regulere utviklingstakten ved den ytterste grensen for automatisert AI-utvikling,” står det i brevet.
I tillegg har begge selskapene også signert et felles åpent brev om cyberforsvar, sammen med Google, Microsoft og rundt 150 andre organisasjoner. Brevet advarer om at AI-drevne angrep vil bli langt mer utbredte og avanserte i månedene fremover.
Coxons advarsel kommer også kort tid etter at FNs menneskerettighetssjef Volker Türk fortalte Menneskerettighetsrådet at avansert AI kan utgjøre en eksistensiell risiko.
Coxon la til at det kan bli nødvendig å midlertidig forby arbeidet med å forbedre modellkapasiteter for å hindre et globalt kappløp. Til slutt oppfordret han forskere i laboratorier til å vurdere om de virkelig ønsker å sette i gang et superintelligent forsterkningslæringssystem uten å forstå konsekvensene av det resulterende systemet.
BeInCrypto har kontaktet Anthropic og OpenAI for en kommentar.
Abonner på vår YouTube-kanal for å se ledere og journalister dele ekspertinnsikt
