Realtime spraakbericht vertalen is niet zomaar vertaling met een nieuwe vorm van invoer of uitvoer. Het is een fundamenteel nieuwe, andere en boeiende uitdaging voor AI-onderzoek. Het heeft tot doel een heel andere vorm van gebruikerservaring te bieden die de prioriteiten bij vertaling verschuift, nieuwe beperkingen introduceert en nieuwe vormen van beoordeling en besluitvorming van een AI-model vereist. 

Dat is de uitdaging die onderzoeksmanager Sascha Brinker en onderzoekswetenschapper Kristina Geißler aangaan als onderdeel van ons team voor spraakonderzoek. Zij maken deel uit van de groep die het hoogwaardige AI-model van DeepL voor tekstvertalingen verder ontwikkelt om een nieuwe standaard voor realtime stemvertaling in te stellen. Ze bouwen nu voort op dat vroege succes met nieuwe modellen en trainingstechnieken die geheel nieuwe mogelijkheden openen voor meertalige, realtime spraak.

Voortbouwen op hoogwaardige modellen voor tekstvertalingen

We begonnen vanuit een sterke uitgangspositie: de kwaliteit en het contextbegrip van het bestaande model voor tekstvertalingen van DeepL. Het DeepL Voice-team wist al in een vroeg stadium belangrijke resultaten te boeken door dit model in te zetten en de inferentiestrategie aan te passen om de vertaalsnelheid te verhogen. Vervolgens ontwikkelden zij op maat gemaakte modellen voor spraak die het beste moment kunnen bepalen om vertalingen weer te geven, waarbij gebruik wordt gemaakt van DeepL’s inzicht in de relaties tussen taalparen en nieuwe trainingslagen worden toegepast. 

Het doel hierbij is om de juiste balans te vinden tussen latentie en de snelheid van vertalingen (cruciaal voor het vermogen van gebruikers om een gesprek te volgen en eraan deel te nemen terwijl het plaatsvindt), enerzijds, en nauwkeurigheid en stabiliteit, anderzijds. Door deze balans onder de knie te krijgen, hoeft DeepL niet te wachten tot het einde van een zin voordat deze wordt vertaald. Tegelijkertijd wordt het ‘flikkeren’ geminimaliseerd dat optreedt wanneer modellen gedwongen worden om vertaalde ondertitels te corrigeren. Deze aspecten maken een enorm verschil voor de gebruikerservaring.

Het overslaan van de fase van de transcriptie

Het aanpassen en verder ontwikkelen van ons model voor tekstvertalingen heeft ons een heel eind op weg geholpen. Zozeer zelfs dat Slator DeepL momenteel aanmerkt als de onbetwiste koploper op het gebied van zowel de kwaliteit als de stabiliteit van realtime stemvertalingen. Door echter de noodzaak om tekst te transcriberen alvorens deze te vertalen weg te nemen, kunnen we nog verder komen – en dat ook nog eens sneller. Het team werkt momenteel aan modellen die vertaalde spraak direct uit audio-input kunnen genereren, zonder tussenstap in de vorm van tekst.

We kunnen nog meer vooruitgang boeken door ons model meer context te bieden over de gesprekken die het vertaalt: waarover wordt gesproken, wie erover spreekt en welke specifieke uitdrukkingen en terminologie zij waarschijnlijk zullen gebruiken. Dit bootst een groot deel van het intensieve trainingswerk na dat toptolken verrichten vóór belangrijke evenementen of bijeenkomsten. Net als bij hen stelt dit onze modellen in staat om te vertalen wat iemand op het punt staat te zeggen, vanaf het moment dat hij of zij voor het eerst een woord begint te vormen.

Nieuwe horizonten voor stemvertaling

Deze nieuwe, directe spraak-naar-spraakmodellen nemen enkele van de belangrijkste beperkingen weg waarmee stemvertaling momenteel te maken heeft. Hierdoor openen ze een aantal zeer spannende nieuwe mogelijkheden.

Omdat er geen omzetting naar tekst en terug nodig is, kunnen we hele seconden winnen in de tijd die nodig is om een gesproken vertaling te leveren. In de context van het in realtime volgen van spraak is dat een zeer aanzienlijke versnelling die een grote impact zal hebben op de gebruikerservaring en het publiek.

En er is nog meer. Door rechtstreeks met audio-input te werken, kunnen we modellen trainen om accenten, dialecten en nuances te herkennen die vervat zitten in de manier waarop mensen spreken. Extra inferentietijd en rijkere audio-input zorgen ervoor dat we gesproken output kunnen creëren die de emotie en de diepere betekenis van wat mensen zeggen weergeeft.

De toekomst van realtime stemvertaling via AI is niet alleen sneller. Ze is ook veel menselijker: ze legt meer van de vele niveaus vast waarop mensen communiceren wanneer ze spreken. Dit transformeert DeepL van een vertaalengine tot een realtime spraaklaag, die de meest natuurlijke vorm van menselijke communicatie mogelijk maakt op een manier waarbij taal als bron van wrijving verdwijnt. 

Dat maakt dit tot een van de meest opwindende onderzoeksgebieden op het gebied van AI bij DeepL.