Cas partenaire

Des tests multi-marchés
qui finissent en liste de corrections

Des testeurs natifs ont vérifié si un assistant IA terminait vraiment les tâches des utilisateurs sur plusieurs marchés.

Comment nous travaillons avec nos partenaires →
En bref

Comment tester un produit dans plusieurs marchés à la fois ?

Avec des testeurs natifs qui accomplissent de vraies tâches du quotidien, et une preuve pour chaque résultat. Pour un assistant IA, les testeurs de Translia au Japon, au Vietnam, en Corée, au Brésil, en Thaïlande et ailleurs ont travaillé sur web, mobile et ordinateur. Capture d'écran et identifiant de session à l'appui, les échecs ont été classés par cause.

Le blocage
« Terminé »
ne l’était pas toujours

Une application d’IA grand public internationale devait savoir si son assistant IA accomplissait réellement les tâches des utilisateurs sur différents marchés. La difficulté : l’assistant annonçait souvent « terminé » alors que la tâche ne l’était pas.

Ce que nous avons fait
Testeurs natifs, vraies tâches,
une preuve pour chaque résultat

Testeurs natifs, vraies tâches

Des testeurs au Japon, au Vietnam, en Corée, au Brésil, en Thaïlande et ailleurs ont exécuté des tâches courantes dans leur langue, comme réserver un service à domicile ou un vol.

Trois supports

Chaque tâche a été exécutée sur le web, sur mobile et sur ordinateur.

Une preuve pour chaque résultat

Chaque résultat était accompagné de captures d’écran et de l’identifiant de session, et vérifié un par un : où la tâche échouait, où un humain devait reprendre la main, et ce que le modèle faisait de travers.

Ce qui a changé
Échecs triés par cause,
corrections réparties par catégorie

Chaque résultat étant étayé, les échecs pouvaient être triés par cause : capacité du modèle, site cible bloquant l’assistant, ou bug du produit. Le client pouvait répartir les corrections par catégorie au lieu de débattre d’anecdotes.

Un produit IA lancé sur plusieurs marchés ?

Nous organisons des tests par des locuteurs natifs sur chaque marché et rendons un rapport exploitable par l’équipe de votre client.

Comment nous travaillons avec nos partenaires →