Jour de test
Ce matin de février, Maxime, qui se présente comme un « joueur passionné », a rendez-vous chez Ubisoft. Pas pour un entretien d’embauche, mais tester un jeu encore hautement confidentiel. Pendant plus de deux heures, avec d’autres joueurs, il va s’immerger dans ce qu’on appelle la « build » du jeu et suivre un programme minutieusement préparé par les User Researchers d’Ubisoft. Cette équipe, composée d’une vingtaine de personnes, réalise un travail essentiel : confronter un jeu, pour la première fois durant sa production, au public auquel il est destiné.
Retrouvez cet article sur Stories, aux côtés de plein d’autres contenus !
L’User Research Lab
« Notre mission, c’est d’aider les designers à créer l’expérience qu’ils souhaitent proposer, explique Aurélien Fossard, Lead User Researcher chez Ubisoft. Cela prend en compte beaucoup de dimensions, comme la compréhension, le plaisir de jeu ou l’engagement. On est un outil d’empowerment des designers. » Pour y arriver, le laboratoire est divisé en plusieurs corps de métiers. Les User Researcher, des analystes qui vont définir et mener les tests, constituent 80% de l’équipe. Les User Researcher Project Manager, de leur côté, remplissent un rôle de relais entre les équipes de productions et le Lab. Les Moderateurs s’occupent du soutien logistique, technique, et de l’infrastructure du laboratoire. Et le Measure Specialist enfin, réalise une veille sur le secteur et déploie de nouveaux outils pour accompagner les analystes.
S’il est amené à travailler sur des projets partout dans le monde, en l’occurrence des jeux dits HD (les jeux mobiles étant gérés par une autre équipe), l’User Research Lab de Paris collabore principalement avec le Studio d’Ubisoft Paris.
« Les UR Labs dépendent avant tout des Studios auxquels ils sont rattachés, avec leurs spécificités explique à Stories Max Chauvin, User Research Lab Director, dont la mission consiste notamment à donner aux experts de l’équipe les moyens d’accompagner les productions via la réalisation de tests et d’études innovantes. Le plus gros Laboratoire compte environ quarante personnes dédiées à la recherche utilisateur, les plus petits une personne. Le travail est forcément mené différemment, et c’est très bien car adapté aux besoins de chaque production. Mais on a à cœur de ramener le plus d’homogénéité possible car certains rapports peuvent aussi nourrir des décisions stratégiques du Top Management d’Ubi. »
Dans leurs locaux, on trouve cinq salles de tests pouvant accueillir au total 48 joueurs, dont une contenant un couloir traversant et des vitres sans tain (permettant à des membres des équipes de production d’assister aux tests) et une autre « copiant » l’ambiance d’un salon familial pour les jeux plus casuals. Les tests portant sur des éléments de design spécifiques sont fréquemment réalisés avec huit joueurs, comme l’explique Aurélien : « Des travaux fondamentaux sur la recherche utilisateur ont montré que mobiliser huit joueurs permettait d’identifier 80% à 90% des problèmes d’utilisabilité d’une feature. C’est variable, bien sûr, mais cela nous permet de repérer une large majorité des soucis existants. » Parfois, ils sont seize dans le Lab, pour des tests d’appréciation plus larges, voire même 32 lorsqu’il s’agit de réaliser des tests en miroir avec d’autres Labs d’Ubisoft dans le monde.
NOTRE MISSION, C’EST D’AIDER LES DESIGNERS À CRÉER L’EXPÉRIENCE QU’ILS SOUHAITENT PROPOSER. CELA PREND EN COMPTE BEAUCOUP DE DIMENSIONS, COMME LA COMPRÉHENSION, LE PLAISIR DE JEU OU L’ENGAGEMENT. ON EST UN OUTIL D’EMPOWERMENT DES DESIGNERS.
Aurélien Fossard
Lead User Researcher
Le jour où l’équipe de Stories rend visite à l’UR Lab, et pour respecter les consignes sanitaires, seuls trois joueurs sont attendus pour la première session du test. Ce sont Florence Velut (User Researcher et Lead sur ce test), Agnès Bouttin (Associate User Researcher) et Laurent Cala (User Researcher Moderator) qui les accueillent, les briefent et les accompagnent dans leur salle de test. Chaque joueur sera observé pendant plus de deux heures par un analyste référant. Avant que les sessions ne démarrent, Aurélien prend le temps de nous expliquer le besoin de « garantir l’indépendance des joueuses et joueurs ». « Notre objectif est de les informer au mieux sur le déroulé du test, mais sans biaiser leur expérience. On veut qu’ils se sentent à l’aise dans notre environnement mais gardent leur propre vision, qu’ils restent eux-mêmes, qu’ils jouent et réagissent naturellement. Ce qui peut s’avérer complexe parfois, lorsque les tests durent plusieurs jours et qu’ils sont forcément amenés à parler avec d’autres joueurs entre deux sessions. » C’est notamment pour cela que, quand ils arrivent, et tant qu’ils n’ont pas signé un accord de confidentialité, les joueurs ne savent pas encore quel jeu ils testeront. « Parfois, quand on les recrute, il arrive bien sûr qu’ils fassent des déductions, sourit néanmoins Aurélien. Si on leur demande s’ils aiment bien danser, ils vont forcément avoir leur petite idée du jeu. »
PLAN DE TEST
Pas question de danse pour Maxime le jour de son passage au Lab, mais bien d’un jeu encore non annoncé et toujours en cours de développement. Ce qui va impliquer quelques spécificités : l’option courir n’est pas encore disponible, tout comme le saut. Mais l’enjeu est ailleurs : ce test a en effet pour objectif de répondre à des questions bien précises, et transmises par le studio de production, notamment sur la cohérence sonore, les interfaces utilisateurs et la capacité des joueurs à explorer et s’orienter, entre quête principales et quêtes annexes. « L’URPM, l’User Research Project Manager, travaille au sein de l’équipe de production et fait le relais avec nous, détaille Agnès.
Il gère le planning de test, combien de personnes sont nécessaires pour le réaliser, et ce que l’équipe veut tester exactement. » Une fois ces informations en tête, l’équipe commence à travailler sa méthodologie. Les tests reposent principalement sur les observations, les discussions et les questions. Les échanges en amont avec les équipes de production permettent d’établir un plan précis : quelles zones explorer, quelles missions réaliser, quels aspects de gameplay tester. Mais certains tests demandent parfois l’élaboration de méthodologies nouvelles. « Comment tester un système de recommandation alors que l’algorithme doit apprendre des comportements du joueur, demande Aurélien. Cela demande de faire des sessions différentes. Même chose pour les battle royales : comment émuler un terrain de 100 joueurs ? » L’équipe a ainsi, pour tester la narration d’un jeu, créé un jeu de rôle sur table. Un jeu de cartes a également été inventé pour tester certaines mécaniques. « C’est intéressant, surtout quand on veut tester des idées ou des concepts, car cela permet de le faire le plus tôt possible, avant même que des builds soient disponibles », ajoute Agnès.
L’équipe s’assure par ailleurs que la build, une fois disponible, permet de réaliser les tests dans des conditions optimales, notamment en l’explorant en amont pour repérer de potentiels bloqueurs et être en mesure d’accompagner les joueurs et joueuses. « J’ai souvenir d’un bug qui supprimait toute la progression du joueur, se souvient de son côté Aurélien, y compris après plusieurs jours de jeu. Alors même que l’objectif du test touchait à la progression. Cela pose parfois problème. » Le besoin de travailler sur des versions de jeu le plus stable possible amène les User Researchers à travailler en collaboration avec le Quality Control, un service qui se charge de suivre les versions de jeu et d’en traquer les bugs techniques.
Une fois la méthode définie, la sélection des joueurs peut commencer, en fonction des besoins de chaque test et du public visé par le jeu. « Il arrive que l’on décide de retirer les données récoltées auprès d’un joueur ou d’une joueuse, parce qu’il ou elle ne correspondait pas au type de jeu expérimenté. » C’est pour cela que les joueurs susceptibles d’être contactés remplissent des questionnaires détaillés sur leurs habitudes de jeu. « On est en mesure d’inviter des joueurs qui parlent anglais, sont habitués à jouer avec une manette Xbox et qui jouent régulièrement à des jeux d’action aventure si ce sont nos besoins. On va aussi les contacter pour avoir plus de détails, puis appeler les joueurs présélectionnés pour affiner au maximum les profils recherchés. »
EYE-TRACKING ET BRUITS DE PAS
Et c’est comme ça que Maxime a été invité pour cette session. Durant le test, le joueur est encouragé à réagir comme il le ferait chez lui, tout en sachant que le jeu n’est pas fini, que certaines fonctionnalités n’ont pas encore été implémentées et que des bugs peuvent survenir régulièrement. Certaines phases importantes du jeu ne sont pas accessibles et plusieurs personnages apparaissent encore dans la fameuse T pose, les bras levés en angle droit. « On est forcément obligé de s’adapter à ce qui est possible quand on a un jeu comme celui-ci qui en est encore aux débuts de son développement, raconte Agnès. On doit même ajouter des cheats pour permettre de passer certaines phases de jeux encore inaccessibles. Mais pour les jeux en fin de développement, les parties vont être beaucoup plus libres pour les joueurs, on va les laisser vraiment explorer. »
« Ha je crois que mes mouvements sont parfois bloqués par des murs invisibles », lance ainsi Maxime, au bout de quelques minutes passées sur le jeu du jour. « J’ai beaucoup aimé avoir cette petite saynète alors qu’il s’agit d’une quête secondaire », ajoute-t-il, un peu plus tard. « Qu’est-ce que tu as pensé de cette quête ? As-tu compris ce que tu devais faire ? Était-ce assez clair selon toi ? », lui demande Agnès. « L’interaction avec cet objet a encore quelques soucis, mais avec un peu de patience, on peut l’activer », précise-t-elle parfois pour aider le joueur.
« Je participe aux tests car j’aime bien voir ce qui va sortir, et voir comment les tests se déroulent, nous confie Maxime. Forcément, ça ne se passe pas comme une session de jeu normal, les builds ne représentent pas le jeu final. C’est comme si tu dînais au restaurant, mais en mangeant les plats en train d’être cuisinés. Il faut donc avoir ça en tête quand tu fais tes retours : donner tes impressions de joueur et faire abstraction du contexte, tout en sachant que ce que tu as vu va continuer d’évoluer. »
Et si l’essentiel du test est plutôt silencieux pendant les parties, Agnès bénéficie d’autres données très intéressantes : une caméra filme le joueur et permet, via une petite bulle sur l’écran du Researcher, de montrer où se portent ses yeux, que ce soit pendant une phase de jeu, dans un menu ou pendant un dialogue. Cela permet notamment aux designers de vérifier que les éléments placés dans l’univers du jeu attirent bien l’attention du joueur comme ils le souhaitaient. « Sur notre écran, on peut aussi savoir sur quelle touche appuie le joueur en temps réel, ajoute Agnès. C’est très pratique quand un joueur n’arrive pas à faire une action : on peut ensuite regarder ce qu’il se passait sur la manette. Par exemple, une action, habituellement attribuée à une touche dans les jeux, peut les perturber s’il faut appuyer ailleurs pour la réaliser. »
COMPRENDRE LE JOUEUR
Après une exploration globale d’une partie du jeu, Agnès demande à Maxime de replonger dans l’univers, mais pour parler d’un élément très précis : les bruits de pas du personnage principal. « Le son des pas sur le sable fonctionne bien, mais il marcherait bien aussi pour l’herbe », répond Maxime. Si les bruits de pas dans l’eau n’ont pas encore été implantés, le joueur apprécie également la sonorisation des pas sur la pierre dure d’un village ou sur les planches en bois d’un pont. Vingt minutes seront aussi consacrées à l’analyse d’éléments d’interface, dans les menus comme dans le jeu en lui-même, pour s’assurer que chaque élément graphique est compréhensible. « On a tout un set de questions et de relances pour gérer nos interviews et récupérer la donnée la plus qualitative possible, ajoute Agnès. Et le vrai challenge, c’est d’avoir des questions qui n’influenceront pas les réponses des joueurs. On doit faire attention à rester neutre. »
Aux alentours de 12h30, après un peu plus de deux heures de tests, les trois joueurs rentrent chez eux. D’autres tests suivront l’après-midi, avant que ne débute le travail de restitution et la rédaction du rapport à destination de l’équipe de production.
« Le travail d’analyse et de rédaction est très intéressant, on essaye de chercher des points communs entre ce que les joueurs ont dit, pour faire le lien avec le design du jeu, raconte Agnès. On ne va pas se contenter de dire qu’un joueur n’a pas compris tel ou tel aspect ; on va essayer d’expliquer pourquoi il n’a pas compris. » Le rapport peut prendre différentes formes : très condensé s’il s’adresse à la production dans son ensemble, et plus détaillé s’il concerne une équipe et un aspect très précis du jeu, comme le sound design par exemple.
« Notre rôle, même si l’on fait remonter des retours de joueurs, n’est pas de brider la créativité, explique Aurélien. On agit comme des filets de sécurité pour permettre aux créateurs de jeu de tester des choses en toute liberté. » Les analystes peuvent alors accompagner l’équipe de production pour comprendre l’origine du problème et prendre la bonne décision créative, en maintenant leur choix ou en l’adaptant.
JOUER À DISTANCE
Outre les tests en présentiel le jour de notre passage, nous avons remarqué d’autres salles et d’autres analystes en plein travail. Sans joueurs face à eux pourtant. Ces derniers jouent en effet depuis leur domicile, à distance. Une pratique qui s’installe peu à peu au Lab.
Car pendant longtemps, les études réalisées à distance n’étaient pas une priorité pour les équipes du Lab, qui privilégiaient les tests en présentiel. Grâce aux « diary studies », des carnets de notes permettant de collecter les retours, les joueurs peuvent jouer quand ils veulent. Une forme de tests parmi d’autre, et une approche déjà utilisée par l’équipe d’UR sur les jeux mobiles, qui permet de s’affranchir de certains biais liés au cadre parfois solennel des tests en laboratoire et des rythmes de jeu très encadrés. « Pour autant, cela posait aussi des questions, ajoute Aurélien. Si tu permets à un joueur d’accéder à un jeu HD en dehors du laboratoire, cela peut entraîner des problèmes de confidentialité. D’autres contraintes sont liées au matériel et à l’infrastructure. Les joueurs ont-ils des PC assez puissants ? Faut envoyer les builds chez eux ? »
La crise sanitaire les a poussés à réenvisager ces solutions alternatives. L’outil Parsec, également utilisé par les équipes de production et qui permet de jouer à distance, a été mis en place pour les tests. « Nos builds sont par ailleurs watermarkées pour éviter les fuites, explique Aurélien. En quelques semaines après le début de la crise sanitaire, cela nous a permis à la fois de maintenir notre activité et de prendre plus en compte l’environnement du joueur, qui joue de chez lui. Cela nous permet également d’interagir avec des joueurs partout dans le monde ou même en France et qui ne peuvent pas venir au laboratoire. » « Les joueurs sont forcément plus à l’aise, on colle vraiment à leur contexte de jeu naturel », complète Agnès.
« Je dirais même que le Covid-19 a accéléré l’implémentation de certaines réflexions, estime Max. Cela nous a permis de pousser des thématiques importantes. Si on se projette, les tests à distance, nécessaires en période de pandémie, permettront peut-être un jour aux joueurs et joueuses de jouer quand ils ou elles le veulent, dese connecter le soir sans avoir à se soucier des horaires d’ouverture du Lab, qui contraignent forcément l’expérience, rendant difficile l’équilibrage de features telles que la progression, l’économie, ou la difficulté. »
D’autres chantiers sont également menés sur le court et le long terme, et notamment sur l’accessibilité, un enjeu essentiel pour permettre à toutes et à tous de se plonger sans frontière dans un univers virtuel. Des réflexions sont menées également sur les outils utilisés lors des tests, sur la collaboration avec les équipes de production, mais aussi autour de l’expérience utilisateur. « C’est un concept qui va au-delà du jeu, continue le Lab Director. Car l’expérience de jeu ne se limite pas qu’à celui-ci : il va aussi concerner ce que le joueur en voit sur les forums, les réseaux sociaux, sur les plateformes de streaming, la manière dont il le partage avec ses amis et la communauté. On était, au départ, très orientés sur le design, mais on doit ouvrir notre champ de recherche, et collaborer toujours plus avec d’autres équipes, des experts marketing aux community developpers. En parallèle, nous poussons la collaboration avec d’autres pôles de recherche, notamment ceux spécialisés dans les grands volumes de données afin de livrer des analyses encore plus complètes, pertinentes, et actionnables. C’est comme ça qu’on comprendra au mieux comment les joueurs consomment et vivent les jeux vidéo. »
Rédigé par Vincent Manilève. Retrouvez cet article sur Stories !
