Des chercheurs viennent de réussir un petit miracle ! Leur IA vient de reproduire à l’identique le jeu vidéo DOOM sur un réseau neuronal.

Il est clairement superflu de présenter DOOM, empereur et père fondateur du FPS. La notoriété du jeu est universelle et absolue. Au point qu’il fait partie de ces quelques titres ayant intégré la culture populaire. Meme vivant, Doom fait l’objet depuis plusieurs années d’une campagne qui relève tant de la prouesse technologique que de l’absurde. Son but : arriver à le faire tourner sur tous les supports possibles et imaginables. Un frigo, un test de grossesse, une barre de Milky Way (si, si !) et j’en passe. Bref, tout est bon pour faire tourner Doom ! Dernier coup de force en date : il tourne désormais sur l’Alarmo de Nintendo. Je vous passe le reste de la liste, on va y passer des soirées.

Parfois cependant, l’exercice se fait dans un cadre très sérieux. Ainsi quatre scientifiques, Dani Valevski, Yaniv Leviathan, Moab Arar et Shlomi Fruchter, créateurs de GameGen viennent de franchir un pas technologique d’ampleur. Leur système de jeu, le GameNGen est désormais capable de vous faire jouer à DOOM en utilisant un modèle neuronal ! Celui-ci reproduit ainsi de façon procédurale des niveau, une interface et des interactions quasi-identiques à celles du jeu original ! Explications en détails :

GameNGen peut simuler interactivement le jeu classique DOOM à plus de 20 images par seconde sur une seule TPU (NDLR : Tensor Processing Unit, circuit intégré d’accélération des systèmes IA). La prédiction de l’image suivante atteint un PSNR (NDLR : Peak Signal to Noise Ratio, indice de distorsion d’une image numérique, notamment compressée) de 29,4, comparable à la compression JPEG avec perte. Les évaluateurs humains sont à peine plus performants que le hasard pour distinguer les courtes séquences du jeu des séquences de la simulation. GameNGen est formé en deux phases : (1) un agent RL (NDLR : Real Life, entendez « humain ») apprend à jouer au jeu et les sessions de formation sont enregistrées, et (2) un modèle de diffusion est formé pour produire l’image suivante, conditionnée par la séquence des images et des actions passées. Les augmentations de conditionnement permettent une génération auto-régressive stable sur de longues trajectoires.

Pour vulgariser le propos : un joueur fait une partie de DOOM et les données de sa parties sont exploitées par un agent IA pour reproduire les conditions du jeu via l’IA générative. Cet agent a subi au préalable un « entraînement » en jouant à DOOM à toutes les difficultés. Ceci afin de saisir la complexité du gameplay des joueurs. De multiples réinjections d’images corrompues ensuite via bruit gaussien permettent également de garanti la cohésion de la génération procédurale. Ceci afin d’éviter que l’IA parte en freestyle et ne génère progressivement du contenu qui n’aura plus aucune cohésion. Le « jeu » n’est évidemment pas parfait car l’agent IA ne dispose que de trois secondes de mémoire. Un élément qui pose évidemment souci dans un jeu où l’orientation mais aussi la gestion de clés sont primordiaux.

Voici une vidéo de cette expérience. Comme vous le constaterez c’est assez bluffant :

Alors oui, ce n’est pas demain que l’on fera du Cyberpunk ou du Assassin’s Creed sur moteur neuronal. Mais cette expérience illustre les fulgurants progrès de l’IA en matière de génération de contenu. Des progrès qui, comme on le sait, inquiètent très fortement les foules sur le plan éthique. A l’heure où se multiplient les logiciels de génération d’image comme Midjourney ou DALL·E 3, beaucoup estiment que les IA représentent tant un progrès qu’un outil pouvant être utilisé à des fins néfastes, voire criminelles. Le débat continue mais la technologie progresse aussi de son côté. En attendant, si vous souhaitez vous renseigner plus en avant sur le projet, vous pouvez vous rendre sur le site de GameNGen !