Nous poursuivons notre route sur les expérimentations autour de ce que nous appelons l’intelligence Artificielle Appliquée.
Après avoir joué contre un robot au Ping Pong, échangé avec notre animal favori, je vous présente l’expérimentation EDGE (Editable Dance Generation from Music) qui nous promet de créer intégralement des chorégraphies de danse à partir d’une musique « arbitraire ».
EDGE combine un modèle de diffusion IA couplé à un extracteur de musique intitulé JUKEBOX : un outil extrêmement puissant et complet permettant d’isoler les sons, le rythme et d’analyser ainsi très précisément un spectre audio.
Le système produit alors des chorégraphies de qualité en tenant compte des transitions et des changements de rythme de la musique.
Il existe d’autres types de solutions comme FACT ou Bailando mais qui restent en deçà en terme de qualité de mouvements. La plupart des ces expérimentations sont d’ailleurs basées sur un énorme Dataset 3D reprenant les principaux mouvements et intercalant de manière « intelligente » les différentes positions suivant le rythme musical.
En effet, une des principales difficultés à résoudre dans le cadre de ce projet est de pouvoir simuler de manière crédible les différents mouvements du danseur en accord avec le son/rythme récupérés et traités par JUKEBOX.
Dans un premier temps, le système EDGE décode la musique et analyse les différentes variations, notamment les changements de rythme afin de définir les points d’inflexion du corps 3D à générer (point de synchronisation).
Exemple d’animations de danse générées par EDGE
A partir d’un Dataset de plus de 2 000 poses de danse associées avec des styles de musique différents, les chercheurs ont entrainé le système des milliers de fois via des séquences de 5 secondes.
Suite à la génération de Batchs (regroupement des mouvements) basés sur plusieurs GPUs, ils ont ainsi pu séquencer une danse globale (plusieurs minutes) en accord avec une musique « arbitraire ».
Bien entendu le résultat n’est pas encore optimal et certains mouvements restent encore saccadés (comme un pantin désarticulé) mais les progrès des algorithmes de diffusion vont, dans un avenir proche, gommer ces petites imperfections.
Un jeu comme « Just Dance » n’aurait plus aucun intérêt puisque c’est un système comme EDGE qui générerait automatiquement la chorégraphie à suivre suivant un type de musique (Pop, Rock…).
Nous n’avons pas fini d’en entendre « parler » 😉