Entendendo a confiança na IA linguística empresarial. Em conversa com a Slator

Toda solicitação de proposta (RFP) na área de tecnologia de idiomas tem uma “questão de confiança”, e todo fornecedor tenta respondê-la bem. Seis meses depois do lançamento, algo dá errado. Os dados estão na jurisdição errada, o resultado mudou depois de uma atualização do modelo que ninguém mencionou, o custo é três vezes maior do que o previsto. As palavras não te decepcionaram; só que as palavras “confiança” ou “qualidade” significavam algo diferente para cada pessoa na sala.

Num episódio recente do podcast “The New Fluency”, o diretor-geral da Slator, Florian Faes, e o chefe de consultoria, Alex Edwards, explicaram o que os compradores corporativos realmente querem dizer quando falam em “confiança”.

1. Confiança na precisão: Aquela que todo mundo pergunta

A precisão é o ponto de partida de toda conversa sobre confiança. E, na verdade, é o ponto menos útil para se dedicar tempo, porque o padrão já mudou.

“Quatro anos atrás, era sempre assim: ‘Ah, isso foi feito por IA. Com certeza tem um erro de 100%”, disse Florian. “A confiança geral nos resultados da IA aumentou muito. As pessoas simplesmente confiam mais na IA de maneira geral, o que significa que também confiam muito mais na tradução feita por IA.”

A questão é se o resultado da IA é preciso o suficiente para casos de uso específicos. Um rótulo de medicamento, uma avaliação de produto feita por um usuário e um resumo interno de informações — cada caso de uso e tipo de conteúdo tem um limite diferente de precisão.

Quem não especificar um tipo de conteúdo específico pode acabar exagerando na qualidade para conteúdos menos importantes ou subestimando-a onde realmente importa.

2. Confiança na consistência: o verdadeiro problema do comprador sujeito a regulamentação

Para equipes de serviços financeiros, farmacêuticas e jurídicas, a necessidade de precisão total é um dado adquirido. A questão mais difícil é aquela que o Alex descreveu assim:

“Quando você conversa com compradores regulamentados, a ênfase na consistência e na confiabilidade pode ser ainda maior. Ter a confiança de que o que você está entregando será consistente e confiável é provavelmente uma preocupação maior entre esses clientes.”

A questão, então, passa a ser mais sobre o sistema, e não sobre o resultado. Um fornecedor que atualizou seu modelo no segundo trimestre sem te avisar é um fornecedor em quem você não pode confiar para submissões regulatórias.

3. Confiança em segurança: a questão que acaba com negócios na análise de segurança da informação

Depois que você tem os dados, onde eles ficam armazenados? Quem pode acessá-los? O Alex destacou isso:

“Ter certeza de que seu conteúdo de localização é produzido por pessoas — ou não — e ter essa transparência com os clientes é importante, assim como a auditabilidade e as medidas de segurança. Isso também influencia a confiança, junto com onde seus dados ficam e como são tratados.”

Esse é o requisito que surge mais tarde. A avaliação funcional já foi feita, as partes interessadas estão alinhadas e, então, a equipe de segurança da informação faz uma pergunta que ninguém pensou em incluir na solicitação de proposta. Os fornecedores de IA agora lidam com conteúdo que antes era processado no local ou dentro de relações com prestadores de serviços de localização (LSPs) bem delimitadas. Isso aumenta a exposição, e os requisitos de dados da UE, dos EUA e da APAC não se alinham perfeitamente.

4. Confiança em escala: “funciona na demonstração” não é garantia

“As pessoas precisam confiar que a tradução por IA funciona em grande escala. Que não é só um brinquedo, que não é só algo que funciona numa demonstração ou num projeto experimental, mas que realmente funciona quando você passa milhões de palavras por ela. Então, ela pode realmente dar problema em produção.”

Florian acrescentou a questão do custo, que os compradores costumam ignorar:

“Já ouvimos histórias de empresas que gastaram um milhão e meio em tokens do Claude só no primeiro mês.”

Isso, por si só, não é uma falha do fornecedor. É uma falha de confiança em escala; o comprador não testou o modelo de custo com volume real antes de se comprometer.

5. Confiança no resultado: o requisito que a maioria dos compradores ignora completamente

“Muitos compradores corporativos estão começando a pensar em como a qualidade afeta os processos posteriores. Quais são as taxas de conversão dos meus sites traduzidos? Trata-se de conseguir realmente medir os efeitos da qualidade. Para entender os impactos e a relação entre qualidade e resultados de negócios.”

A maioria dos compradores corporativos avalia a IA linguística com base em métricas de qualidade de saída: pontuações MTQE, painéis de revisão. Mas raramente medem se as diferenças na qualidade da tradução estão realmente influenciando os resultados de negócios. O que eles deveriam analisar com mais atenção são as taxas de conversão, a redução no volume de solicitações de suporte e as diferenças no NPS entre usuários que falam o idioma nativo e aqueles que usam a versão traduzida.

Os compradores que criarem essa infraestrutura de medição agora são aqueles que vão conseguir tomar decisões sobre fornecedores com base em sinais reais, e não em indicadores indiretos.

“Praticamente todo mundo usa a precisão como referência básica em termos de confiança”, disse Alex. “Mas isso depende do comprador com quem você está falando.”

Esse é exatamente o problema! Todo fornecedor responde à questão da qualidade no nível da precisão. Porque é essa a pergunta que recebem. Os outros quatro requisitos ficam na pilha, sem resposta, até que a produção os revele.

A solução não é uma solicitação de proposta melhor. É saber em qual dessas cinco medidas de confiança a sua organização não vai abrir mão.

Assista ao episódio completo!

Florian, Alex e Morana falam mais a fundo sobre experimentação, estruturas de qualidade e como eles acham que serão os próximos anos para o setor de localização. Assista ao episódio completo no YouTube:Definindo a qualidade da tradução na era da IA com Alex Edwards e Florian Faes, da SlatorQuer saber mais? Assista à 1ª temporada inteira de The New Fluency no nosso YouTube. Como você realiza a localização de 79 bilhões de palavras por ano? Com Mik Szajna, da Booking.com.

Criando processos de localização com foco na IA com Claudia Mueller, da Trusted Shops Superando o gargalo da complexidade com uma mentalidade de produto com Olga Stokowiec, da Maxon Entregue rápido, traduza mais rápido com María José Salmerón Ibáñez, da GitLab

Construindo marcas em diferentes culturas com a diretora de marketing e autora Katherine Melchior Ray

Criando mecanismos de localização para organizações em expansão, com Riina Tolonen, da headout