Muse, ce nom vous dit quelque chose ? Non, il ne s’agit pas du groupe rock anglais. Muse est le tout nouveau modèle d’IA générative développé par Microsoft. A l’heure de ChatGPT, Midjourney et consort, l’IA et les recherches associées ne font que croître. Microsoft a déjà investi dans le domaine et continuera encore : Azure AI, Copilot…Mais alors, Muse, qu’est-ce que c’est ? Muse incarne le « premier modèle d’action humaine et mondial » (WHAM pour « the first World and Human Action Model). A savoir un modèle d’IA générative de jeu vidéo. Modèle qui peut générer des visuels de jeu, des actions liées à la manette ou les deux. 

Tout d’abord, ce modèle a vu le jour grâce à la collaboration du studio Ninja Theory et de Microsoft Research Game Intelligence. Pourquoi Ninja Theory (Hellblade : Senua’s Sacrifice, Senua’s Saga : Hellblade II) ? D’abord parce que les deux structures se situent à Cambridge, ce qui s’avère parfait pour une collaboration concrète. Ensuite, parce que Ninja Theory a fait émerger le modèle Muse en jeu. En effet, Microsoft Research a travaillé sur les données du jeu Bleeding Edge. Ce jeu de 2020, un multijoueur de type MOBA en 4 contre 4. Gavin Costello, directeur technique chez Ninja Theory, s’enthousiasme :

C’est incroyable de voir la variété des façons dont Microsoft Research a utilisé l’environnement et les données de Bleeding Edge pour explorer de nouvelles techniques dans un secteur de l’IA en évolution rapide. Depuis le hackathon qui a tout déclenché, où nous avons intégré l’IA dans Bleeding Edge, jusqu’à la création d’agents IA capables de se comporter davantage comme des joueurs humains, en passant par le modèle d’action humaine et mondiale capable d’imaginer des séquences de jeu Bleeding Edge entièrement nouvelles sous la direction d’un humain, cela a été une révélation de voir le potentiel de ce type de technologie.

De la conception à la réalité

Pour Katja Hofmann, la responsable principale de l’équipe de Game Intelligence (Microsoft Research), l’arrivée de ChatGPT en 2022 dans la vie de tous les jours a été le point de départ d’une nouvelle réflexion. Notamment sur l’impact de l’IA dans les jeux vidéo.  Muse a par exemple été formé sur un milliard d’images et d’actions de manette sur Bleeding Edge, à savoir 7 ans non stop de jeu humain ! La création de Muse a nécessité des recherches multidisciplinaires. Microsoft insiste d’ailleurs sur l’importance d’inclure les studios pour éviter « le sentiment d’être exclus ».  Pour que des modèles comme Muse fonctionnent, ils doivent reposer sur 3 principes clefs : la cohérence, la diversité et la persistance. 

La cohérence repose sur la capacité d’un modèle à générer des séquences de jeu qui respectent la dynamique dudit jeu. Le fait qu’un personnage se déplace en adéquation avec la physique et ne traverse pas les murs. La diversité englobe la capacité d’un modèle à créer des variantes de jeu à partir d’une séquence initiale, proposant de multiples façons dont le jeu peut évoluer. La persistance explique la capacité d’un modèle à conserver ou inclure des modifications apportées par l’utilisateur dans des séquences de jeu générées (par exemple les comportements d’un personnage de jeu).

L’IA au service de la création uniquement ?

Microsoft a ainsi présenté son WHAM dans l’article Nature

L’intelligence artificielle générative (IA) a le potentiel de transformer les industries créatives en soutenant l’idéation créative humaine, c’est-à-dire la génération de nouvelles idées.

L’IA revêt un intérêt grandissant pour « explorer des tâches de plus en plus complexes, de la génération de mondes 3D et de leurs mécanismes, à l’exploration des interactions avec des personnages non joueurs (également appelés PNJ) ».

Le jeu vidéo est le plus grand secteur de l’industrie du divertissement au monde, atteignant actuellement un public de plus de 3 milliards de personnes. À ce titre, les studios de jeux étudient comment l’IA peut les aider à répondre à la demande et aux attentes croissantes en matière de nouveaux contenus.

A noter que 8 studios ont participé à la recherche dont 4 studios indépendants, un studio AAA et trois équipes de développeurs d’accessibilité (pour le handicap). Cela représente 27 personnes ou créateurs de jeux. En vient alors la conversation croisée entre Phil Spencer, Dom Matthews de Ninja Theory et Katja Hofmann de Microsoft Research. Phil Spencer y voit une opportunité de conservation des jeux vidéo. Ainsi, les anciens jeux, passés de mode et vieillissants, pourraient retrouver une nouvelle vie. Muse permettrait de les rendre accessible sur tous les appareils. Une solution qui impacterait la conception actuelle des remakes et remasters. Du côté de Ninja Theory, on y voit une occasion d’accéder à plus de créativité (souvent limitée par la technique). Le studio ne s’y intéresse pas pour tout faire créer par l’IA mais pour accélérer le processus de faire un jeu vidéo. Dom Matthews souligne que les jeux restent une affaire de création humaine et que la technologie permet seulement de la renforcer.

Les modèles d’IA ne doivent pas être des « fins en soi » mais plutôt des outils et des atouts pour la création. L’idée de départ s’avère toujours noble, même si on peut facilement voir les travers d’un tel recours dans la vie quotidienne. Il ne faudrait pas que l’industrie déjà régulièrement endeuillée (avec une hécatombe de licenciements) soit négativement impactée.