Google lanserte Gemini 3.8 Live og Gemini 3.8 Live Extended Thinking 15. september, og kaller dem sine mest avanserte lydmodeller til nå.
De to modellene snakker, resonerer og håndterer oppgaver. Men hvordan vurderer uavhengige analytikere dem? Extended Thinking-versjonen havnet øverst på Artificial Analysis’ Speech-to-Speech Index med 82,6, foran GPT-Live-1 og Grok Voice.
Følg oss på X for å få de siste nyhetene i sanntid
Slik rangerer benchmark-testene Googles nyeste samtale-AI-modell
Artificial Analysis’ index gir et gjennomsnitt av taleresonnering, agentisk ytelse, fellesskapspreferanse (arena preference) og oppgavesuksessrate.
Gemini 3.8 Live Extended Thinking, testet med høy resonneringsbelastning, debuterte på førsteplass. GPT-Live-1 Astra fulgte med 81,5 og Grok Voice Think Fast 2.0 High med 81,3.
Standard Gemini 3.8 Live endte på femteplass med en score på 76,0. Begge variantene slo Gemini 3.1 Flash Live High, som fikk 71,5.
Forskjellen i agentisk ytelse er større. Extended Thinking nådde 68,6 % på Tau Voice benchmarken, sammenlignet med 37,7 % for forrige generasjon.
På taleresonnerings-benchmarken fikk Extended Thinking 97,7 %, og slo så vidt Grok Voice med 97,2 %. Likevel havnet den bak Qwen Audio 3.0 Realtime Plus, som oppnådde 99,2 %.
Menneskelige testere foretrekker fortsatt den eldre Gemini-modellen
Prisen skiller dem klart. Standardmodellen koster $ 0,84 per time med innspilt lyd. Det er omtrent halvparten av forgjengerens $ 1,75 og den laveste prisen i indeksen.
Extended Thinking har en kostnad på $ 3,50 per time. Det slår GPT-Live-1 Sol på $ 4,47 og Grok Voice Think Fast 2.0 High på $ 4,80.
Forsinkelsen har også gått ned. Gjennomsnittlig tid til første lyd falt til 1,18 sekunder, mot 2,99 sekunder for den eldre Gemini-modellen.
Lytterne lar seg imidlertid ikke helt overbevise. Gemini 3.1 Flash Live har fortsatt høyest preferanse i blinde Speech Agent Arena-samtaler, med en Elo-score på 1096.
Gemini 3.8 Live ligger på andreplass med 1083. Extended Thinking-varianten havner på 990, selv om den fullførte 89,1 % av oppgavene sine.
Stemmebasert AI blir nå vurdert etter to ulike skalaer som peker i forskjellige retninger. Benchmarkene belønner modellen som resonnerer best. Preferansetesten belønner den som snakker best. Google leder for øyeblikket begge, men med ulike modeller.
Abonner på vår YouTube-kanal for å se ledere og journalister dele ekspertinnsikt
