Des testeurs natifs ont vérifié si un assistant IA terminait vraiment les tâches des utilisateurs sur plusieurs marchés.
Avec des testeurs natifs qui accomplissent de vraies tâches du quotidien, et une preuve pour chaque résultat. Pour un assistant IA, les testeurs de Translia au Japon, au Vietnam, en Corée, au Brésil, en Thaïlande et ailleurs ont travaillé sur web, mobile et ordinateur. Capture d'écran et identifiant de session à l'appui, les échecs ont été classés par cause.
Une application d’IA grand public internationale devait savoir si son assistant IA accomplissait réellement les tâches des utilisateurs sur différents marchés. La difficulté : l’assistant annonçait souvent « terminé » alors que la tâche ne l’était pas.
Des testeurs au Japon, au Vietnam, en Corée, au Brésil, en Thaïlande et ailleurs ont exécuté des tâches courantes dans leur langue, comme réserver un service à domicile ou un vol.
Chaque tâche a été exécutée sur le web, sur mobile et sur ordinateur.
Chaque résultat était accompagné de captures d’écran et de l’identifiant de session, et vérifié un par un : où la tâche échouait, où un humain devait reprendre la main, et ce que le modèle faisait de travers.
Chaque résultat étant étayé, les échecs pouvaient être triés par cause : capacité du modèle, site cible bloquant l’assistant, ou bug du produit. Le client pouvait répartir les corrections par catégorie au lieu de débattre d’anecdotes.
Nous organisons des tests par des locuteurs natifs sur chaque marché et rendons un rapport exploitable par l’équipe de votre client.
Comment nous travaillons avec nos partenaires →