OpenAIn uusi äänimalli, GPT-Live, muuttaa ChatGPT:n rytmiä. Keskustelu voi virrata molempiin suuntiin, se voidaan keskeyttää kesken lauseen ja se jatkuu ilman puheavustajille pitkään ominaista jäykkää vuorottelua.

Ero käy ilmi nopeasti. GPT-Live ei enää odota kohteliaasti käyttäjän puheen päättymistä ennen kuin käsittelee kaiken erillisenä komennona. Se kuuntelee ja puhuu samanaikaisesti, reagoi keskeytyksiin ja osaa antaa puheenvuoron tavalla, joka muistuttaa läheisesti tavallista keskustelua.

OpenAI julkaisi mallin 8. heinäkuuta. GPT-Live on sittemmin otettu käyttöön ChatGPT Go-, Plus- ja Pro-käyttäjille, ja sen jakelu ilmaiskayttäjille on parhaillaan käynnissä. Ominaisuus on saatavilla ChatGPT:n verkkoversiossa sekä iOS- ja Android-sovelluksissa.

Sam Altman kuvailee kokemusta "maagiseksi" ja "todelliseksi". Nämä ovat tietysti yhtiön johtajan omia sanoja, mutta ne kuvaavat sitä, miksi julkaisu on herättänyt niin paljon huomiota: GPT-Live ei ole mielenkiintoinen vain uutena malliversiona, vaan uutena tapana käyttää kielimallia.

Loppu radiopuhelinmaiselle tunnelmalle

Tekninen avain on niin kutsuttu full duplex eli kaksisuuntainen tiedonsiirto. Ihminen ja malli voivat lähettää ääntä samanaikaisesti. GPT-Live pystyy siten kuulemaan keskeytyksen puhuessaan, pysähtymään, vastaamaan huomautukseen ja palaamaan sen jälkeen aiheeseen.

OpenAI on työstänyt myös ajoitusta, puhenuotteja ja selkeämpää persoonallisuutta. Malli osaa käyttää pieniä vahvistavia sanoja, huomata milloin joku epäröi ja antaa lyhyen keskeytyksen mennä ohi käsittelemättä jokaista ääntä välittömänä uutena komentona.

Tulos ei ole virheetön. Varhaiset käyttäjät X-palvelussa ovat näyttäneet sekä onnistuneita keskeytyksiä että tilanteita, joissa malli luovuttaa puheenvuoron liian myöhään, ymmärtää aksentteja väärin tai muuttuu liian innokkaaksi. Yhteisön voimakkain reaktio koskee kuitenkin itse virtausta: useat testaajat kuvailevat sitä ensimmäiseksi äänitilaksi, joka tuntuu suunnitellulta keskustelua eikä vain puheohjattuja kysymyksiä ja vastauksia varten.

Voi siirtää vaikeammat tehtävät eteenpäin

GPT-Liven ei tarvitse ratkaista kaikkea itse reaaliajassa. Kun kysymys vaatii verkkohakuja, syvempää päättelyä tai useita työvaiheita, äänimalli voi OpenAIn mukaan siirtää tehtävän taustalla yhtiön uusimmalle huippumallille (frontier model). Vastaus tuodaan sen jälkeen takaisin käynnissä olevaan keskusteluun.

Tämä muotoilu muuttaa puheen rajapinnaksi useammille toiminnoille. Käyttäjä voi kysyä säästä, etsiä paikkaa, vertailla vaihtoehtoja tai saada apua matkan suunnitteluun ilman, että hänen täytyy lopettaa äänikeskustelua ja siirtyä tekstiin.

OpenAIn demonstraatiot näyttävät muun muassa henkilön pakkaamassa matkaa varten, kysymässä säästä ja pyytämässä ehdotuksia paikoista, joissa katsoa jalkapalloa Mexico Cityssä. Malli yhdistää tällöin keskustelun hakuun ja visuaalisiin tuloksiin.

Kieliharjoittelu, tulkkaus ja hands-free-käyttö

Ilmeisimpiä käyttökohteita ovat ne, joissa näppäimistö on tiellä. GPT-Live voi toimia keskustelukumppanina kieliharjoittelussa, tarjota palautetta ääntämisestä ja ilmaisutavoista, auttaa ruoanlaitossa tai vianetsinnässä ja ylläpitää keskustelua samalla, kun käyttäjä työskentelee käsillään.

Reaaliaikainen kääntäminen on toinen osa-alue. Sen sijaan, että tallennettaisiin lause, odotettaisiin litterointia ja saataisiin vasta sitten puhuttu käännös, järjestelmä voi viedä vuoropuhelua eteenpäin kahden ihmisen puhuessa. Opettajat, tukihenkilöstö, terveydenhuollon hallinto ja esteettömyyspalvelut ovat muita mahdollisia kohteita, vaikka arkaluonteista tietoa käsittelevien organisaatioiden on asetettava korkeammat vaatimukset tietosuojalle ja dokumentoinnille.

Yhteisö on alkanut käyttää mallia myös leikkisämmin. Eräässä laajalle levinneessä testissä GPT-Liveä keskeytetään toistuvasti ja sitä pyydetään muuttumaan yhä ärtyneemmäksi. Tämä saattaa kuulostaa vähäpätöiseltä, mutta se osoittaa, kuinka malli pystyy säilyttämään roolinsa, reagoimaan keskustelun rytmiin ja mukauttamaan äänenpainoaan reaaliajassa.

Ääni lähetetään edelleen pilvipalveluun

Luonnollinen keskustelu voi saada teknologian tuntumaan paikalliselta ja yksityiseltä, mutta ääni käsitellään pilvipalvelussa. Käyttäjien tulee siksi harkita, mitä he sanovat ääneen, erityisesti liittyen työhön, terveydenhuoltoasioihin, lakiasioihin, liikesalaisuuksiin tai keskusteluihin muista ihmisistä.

OpenAIn nykyiset hallintatyökalut historialle, muistille ja keskustelujen käytölle mallin kehittämiseen pätevät myös silloin, kun ChatGPT:tä käytetään puheella. Ne, jotka haluavat vähentää datanjälkiään, voivat tarkistaa asetukset kohdasta Data Controls ja Memory, sekä käyttää Temporary Chat -toimintoa arkaluonteisempia, tilapäisiä keskusteluja varten.

GPT-Live on julkaistu täysimääräisesti maksaville ChatGPT-käyttäjille. OpenAIn mukaan ilmaiskayttäjät saavat pääsyn vähitellen, ja malli tuodaan saataville myös yhtiön Realtime API -rajapinnan kautta.