Matteprøver har vært standardmetoden for å teste evnene til AI-modeller som ChatGPT og Claude. OpenAI sier at modellene deres nå presterer så godt at eksisterende matteprøver blir mindre nyttige. Derfor prøvde forskerne noe vanskeligere.
De ga en ikke-utgitt modell rundt 4000 uløste matteoppgaver. Resultatene var overraskende og bekymringsfulle.
AI-en produserte 722 manuskripter, gruppert i 372 familier av relaterte resultater. OpenAI sier at hvert resultat brukte omtrent tre timer med resonnementskapasitet i snitt.
“Noen spennende dager i vente for det matematiske fellesskapet!” sa Stefano Gogioso, et medlem av BeInCryptos Future Tech og AI Experts Council.
Blir AI for kraftig for raskt
Dette er den større historien. Frontier AI begynner å gå utover det å svare på kjente spørsmål og beveger seg mot å generere mulige svar på ukjente.
Det kan kraftig øke hvor mye intellektuelt arbeid en forsker, ingeniør eller analytiker kan forsøke seg på.
Men output er ikke sannhet. Mange av OpenAIs artikler har maskin-sjekkbare Lean-bevis. Andre har det ikke. OpenAI advarer om at noen verifiserte resultater “kan ha problemer.”
Dette skaper en ny flaskehals: mennesker kan få problemer med å sjekke forskning like fort som AI produserer den.
Kan en AI nå utføre prognoser og ta investeringsbeslutninger
Muligens, men finans er vanskelig på en annen måte.
Et matematisk bevis kan til slutt vises å være riktig eller galt. Markedene er støyende og i konstant endring.
Nyere finansbenchmarker viser fortsatt at frontier AI sliter med kompleks investeringsforskning, mens studier av markedstiming finner begrenset prognosefordel.
Den nærmeste muligheten er dypere analyse heller enn perfekt prognose.
En AI som kan resonnere i flere timer sammenhengende, kan undersøke rapporter, resultatsamtaler, makrodata og konkurrerende scenarier samtidig, og deretter teste mange flere hypoteser enn én analytiker kan.
Det kan være det viktigste signalet fra OpenAIs eksperiment. AI blir i stand til å produsere seriøst analytisk arbeid i ekstraordinær skala. Det neste problemet er å bestemme hvilke analyser som fortjener tillit.
