Vertrouwen in Language AI voor bedrijfstaal ontrafeld. In gesprek met Slator

Elke offerteaanvraag op het gebied van taaltechnologie bevat een ‘vertrouwenskwestie’, en elke leverancier probeert daar een goed antwoord op te geven. Zes maanden na de ingebruikname gaat er iets mis. De gegevens vallen onder de verkeerde jurisdictie, de output is veranderd na een modelupdate waar niemand iets over had gezegd, en de kosten zijn drie keer zo hoog als geraamd. De woorden hebben u niet in de steek gelaten; het is alleen zo dat de woorden „vertrouwen“ of „kwaliteit“ voor iedereen in de zaal iets anders betekenden.

In een recente aflevering van de podcast ‘The New Fluency’ hebben Slator’s algemeen directeur Florian Faes en hoofd Consulting Alex Edwards uiteengezet wat Enterprise-kopers daadwerkelijk bedoelen als zij het woord ‘vertrouwen’ gebruiken.

1. Vertrouwen in nauwkeurigheid: Het onderwerp waar iedereen naar vraagt

Nauwkeurigheid is het uitgangspunt van elk gesprek over vertrouwen. En eigenlijk is dit het minst zinvolle punt om tijd aan te besteden, omdat de uitgangssituatie al is veranderd.

"Vier jaar geleden was het altijd zo: 'O, dit is door AI gedaan. Daar zit gegarandeerd 100% een fout in,” zei Florian. "Het algemene vertrouwen in de output van AI is enorm toegenomen. Mensen vertrouwen AI gewoon in bredere zin, wat betekent dat ze ook veel meer vertrouwen hebben in AI-vertalingen.”

De vraag is of de AI-uitvoer nauwkeurig genoeg is voor specifieke toepassingen. Een etiket voor een geneesmiddel, een door een gebruiker geschreven productrecensie en een interne samenvatting ter informatie – voor elk gebruiksscenario en elk type content geldt een andere maximale nauwkeurigheid.

Kopers die geen specifiek inhoudstype aangeven, lopen het risico dat ze te veel aandacht besteden aan de kwaliteit van content waar weinig op het spel staat, of juist te weinig aandacht besteden aan de kwaliteit waar het er daadwerkelijk toe doet.

2. Vertrouwen in consistentie: het werkelijke probleem van de kopers in gereguleerde sectoren

Voor financiële dienstverleners, farmaceutische bedrijven en juridische teams wordt de behoefte aan absolute nauwkeurigheid als vanzelfsprekend beschouwd. De moeilijkere vraag is wat Alex als volgt beschreef:

„Wanneer u met kopers uit gereguleerde sectoren spreekt, ligt de nadruk wellicht meer op consistentie en betrouwbaarheid. Het vertrouwen hebben dat wat u levert consistent en betrouwbaar zal zijn, is waarschijnlijk een grotere zorg bij die klanten.”

De vraag gaat dan dus meer over het systeem, niet over de output. Een leverancier die zijn model in het tweede kwartaal heeft bijgewerkt zonder u hiervan op de hoogte te stellen, is een leverancier die u niet kunt vertrouwen voor regelgevingsgerelateerde indieningen.

3. Vertrouwen in de beveiliging: de vraag die deals doet mislukken bij een InfoSec-beoordeling

Zodra u over de gegevens beschikt, waar worden deze dan opgeslagen? Wie heeft er toegang toe? Alex wees hierop:

„Het vertrouwen hebben dat uw gelokaliseerde content door mensen is geproduceerd en niet door machines — die transparantie naar klanten toe is belangrijk, evenals controleerbaarheid en beveiligingsmaatregelen. Dat speelt ook een rol bij het vertrouwen, net als de vraag waar uw gegevens worden opgeslagen en hoe ermee wordt omgegaan.”

Dit is de eis die pas op het laatste moment naar voren komt. De functionele evaluatie is afgerond, de belanghebbenden zijn het eens, en dan stelt InfoSec één vraag die niemand had bedacht om in de offerteaanvraag op te nemen. AI-leveranciers verwerken nu content die voorheen op locatie of binnen strikt afgebakende LSP-relaties werd verwerkt. Dit vergroot de blootstelling, en de gegevensvereisten van de EU, de VS en APAC sluiten niet naadloos op elkaar aan.

4. Vertrouwen opschalen: „het werkt in de demo“ is geen garantie

"Mensen moeten erop kunnen vertrouwen dat de AI-vertaling op grote schaal werkt. Dat het niet zomaar een speeltje is, dat het niet alleen iets is dat werkt in een demo of een proefproject, maar dat het daadwerkelijk functioneert wanneer u er miljoenen woorden doorheen voert. Het kan dus in de productieomgeving echt misgaan.”

Florian voegde de kostenfactor toe, die kopers vaak over het hoofd zien:

"We hebben verhalen gehoord over bedrijven die in de eerste maand anderhalf miljoen hebben uitgegeven aan Claude-tokens."

Dat is op zich geen falen van de leverancier. Het is een vertrouwensbreuk op schaal; de koper heeft het kostenmodel niet op echte volumes getest voordat hij zich vastlegde.

5. Vertrouwen in de uitkomst: de vereiste die de meeste kopers volledig over het hoofd zien

"Veel zakelijke kopers beginnen na te denken over de invloed van kwaliteit op de verdere processen. Wat zijn de conversiepercentages voor mijn vertaalde websites? Het gaat erom dat men de effecten van de kwaliteit daadwerkelijk kan meten. Om de gevolgen en de relatie tussen kwaliteit en resultaten van het bedrijf te begrijpen.”

De meeste Enterprise-kopers beoordelen Language AI op basis van outputkwaliteitsstatistieken: MTQE-scores en beoordelingspanels. Maar zij meten zelden of verschillen in vertaalkwaliteit daadwerkelijk invloed hebben op de resultaten van het bedrijf. Waar zij nader naar zouden moeten kijken, zijn conversiepercentages, het aantal afgeweken supportverzoeken en NPS-verschillen tussen gebruikers van de moedertaal en gebruikers van de vertaalde taal.

De inkopers die nu die meetinfrastructuur opzetten, zijn degenen die leverancierskeuzes zullen kunnen maken op basis van echte signalen, en niet op basis van vervangende indicatoren.

„Vrijwel iedereen beschouwt nauwkeurigheid als uitgangspunt voor vertrouwen,” zei Alex. "Maar het hangt af van de inkoper met wie u spreekt."

Dat is precies het probleem! Elke leverancier beantwoordt de kwaliteitsvraag op het niveau van nauwkeurigheid. Omdat dat de vraag is die hen wordt gesteld. De overige vier vereisten blijven onbeantwoord in de presentatie staan, totdat ze tijdens de productie aan het licht komen.

De oplossing ligt niet in een betere offerteaanvraag. Het gaat erom te weten op welke van deze vijf vertrouwensmaatstaven uw organisatie geen concessies wil doen.

Bekijk de volledige aflevering!

Florian, Alex en Morana gaan de diepte in op experimenteren, kwaliteitskaders en hoe zij denken dat de komende jaren er daadwerkelijk uit zullen zien voor de lokalisatiebranche. Bekijk de volledige aflevering op YouTube:Het definiëren van vertaalkwaliteit in het tijdperk van AI met Alex Edwards en Florian Faes van SlatorWilt u meer horen? Bekijk het volledige seizoen 1 van The New Fluency op ons YouTube-kanaal. Hoe wordt de lokalisatie uitgevoerd voor 79 miljard woorden per jaar? Met Mik Szajna van Booking.com.

AI-gerichte lokalisatieprocessen ontwerpen met Claudia Mueller, Trusted Shops De complexiteitsknelpunt overwinnen met een productgerichte mindset met Olga Stokowiec, Maxon Snel leveren, nog sneller vertalen met María José Salmerón Ibáñez, GitLab

Merken opbouwen in verschillende culturen met CMO en auteur Katherine Melchior Ray

Lokalisatie-engines bouwen voor snelgroeiende organisaties, met Riina Tolonen, headout