让每个市场的母语测试员做真实的日常任务,每个结果都留证据。传为为一款 AI 助手安排了日本、越南、韩国、巴西、泰国等市场的测试员,覆盖网页、手机和桌面端;每个结果都有截图和会话编号,失败可以按原因归类,客户据此分派修复。
一家国际消费级 AI 应用,要验证它的 AI 助手在不同市场里,能不能真正替用户把事情办完。难点是:AI 助手常常说「已完成」,实际上并没有完成。
日本、越南、韩国、巴西、泰国等市场的测试员,用当地语言做日常任务,比如预约家政、订机票。
每个任务都在网页、手机和电脑客户端上各跑一遍。
每条都附截图和会话 ID,逐条核实:任务在哪一步失败、哪里需要人工接管、模型出了什么问题。
每条结果都有证据,失败就能按原因分开:是模型能力不够、目标网站拦截,还是产品本身的 bug。客户可以按类别安排修复,不用再凭零散印象争论。