Les chercheurs de Meta ont sensiblement amélioré la manière de générer des Codec Avatars, sa vision des avatars photoréalistes pour le Metaverse. Désormais, seul un iPhone pourrait permettre de faire le scan initial, une prouesse.
Cela fait plus de 3 ans que Meta a présenté ses Codec Avatars, un aperçu photoréaliste de ce que pourrait être un avatar dans le Metaverse et plus globalement la réalité virtuelle. En utilisant des réseaux neuronaux de pointe, le visage d’une personne est scanné avec pas moins de 117 caméras. L’avatar est ensuite généré à l’aide d’un casque de réalité virtuelle, qui capte les expressions des yeux, et trois caméras externes pour le reste du visage. Le système est certes lourd, mais le résultat est impressionnant : dans cette vidéo publiée en mai dernier, Yaser Sheikh, directeur du projet Codec Avatar, en démontre tout le photoréalisme dans sa version 2.0 :
Pour donner un avenir à cette technologie, il faut en faciliter l’accès, et c’est toute l’intention de l’équipe Codec Avatars chez Meta qui a réussi à remplacer les 117 caméras par… un iPhone.
Un avatar photoréaliste avec son iPhone ?
Un peu à la manière des systèmes de vérification d’identité de certaines applications, un iPhone vous permettra désormais de scanner en détail votre visage pour ensuite générer un avatar. Pendant plusieurs minutes, il suffira de se filmer en effectuant des rotations à 45 degrés, le tout en répétant pas moins de 65 expressions faciales. Sans entrer dans les détails techniques, le système utilise désormais un second réseau neuronal entrainé sur la base d’expressions générées par 255 personnes, de genres et ethnies diverses, captées à l’aide de 90 caméras.
Il ne s’agit cependant que de la première étape et le vrai défi sera désormais de générer un avatar photoréaliste à partir de ces données. Le rendu du Codec Avatar prendra ensuite 6 heures (!) à une machine embarquant quatre GPU très haute performance. Meta explique cependant que cette opération sera, à terme, à la charge d’un système sur le cloud.
L’objectif est évidemment d’arborer ces avatars photoréalistes dans le metaverse, et il faut dire qu’ils en auraient bien besoin. Actuellement, le monde Horizon World de Meta vous propose des représentations au style un brin cartoonesque, mais Codec Avatars pourrait bien changer la donne. Alors que les utilisations professionnelles de tels espaces vont se démocratiser, le projet de Mark Zuckerberg sera à terme de proposer les deux solutions à ses utilisateurs, selon le contexte.
Quand sortiront les Codec Avatars ?
Codec Avatar est pour l’instant au stade de prototype, et l’équipe ne sait pas encore quand le projet pourra voir le jour pour le grand public.
Les Codec Avatars peuvent-il être utilisés dans le metaverse ?
Oui, l’objectif est de pouvoir utiliser ces Codec Avatars dans le metaverse et de laisser au choix à l’utilisateur quel type d’avatar (plus cartoon ou réaliste) ils désirent afficher.
