Face swapping : je ne crois plus ce que je vois !

Vite fait et approximatif, façon Snapchat, mais disponible gratuitement en quelques secondes...

Introduction

Le face swapping, littéralement échange de visage, consiste à numériquement remplacer le visage d’une personne sur une image ou une vidéo par celui d’une autre, en conservant expressions, éclairage et contraste, voire la synchronisation des lèvres !

Cette technologie, devenue célèbre grâce aux deepfakes, repose aujourd’hui sur des réseaux de neurones profonds gérés par IA, et devient presque indétectable à l’œil nu...

L’ère numérique

Les premières tentatives de substitution faciale numérique remontent aux années 1990, avec le vénérable logiciel Photoshop ; mais le travail était lent, et le résultat loin d’être parfait, puisqu’il dépendait avant tout des talents de l’infographiste, de sa patience aussi !

Au début des années 2000, des logiciels spécialisés, comme WinMorph, ou Griphon morph, ont permis des remplacements plus précis, mais toujours manuels et très aléatoires quant à leur qualité finale.

L’explosion mobile

À partir de 2015, des applications comme Face Swap Live, MSQRD et surtout Snapchat ont démocratisé le face swapping, bien que, pour ce dernier, il s’agisse plutôt de morphing.

Grâce à la reconnaissance faciale présente sur leurs smartphones, les utilisateurs pouvaient échanger leur visage avec un ami, une célébrité ou même un animal en quelques secondes, et ce pour la plus grande joie des petits et grands...

Pour imparfaits qu’ils fussent, ces outils ont néanmoins rendu la technologie accessible à tous, avec un fort impact sur les réseaux sociaux.

L’arrivée de l’AI

Depuis 2017, les réseaux de neurones convolutifs associés aux GANs (Generative Adversarial Networks) ont permis des échanges de visages ultra-réalistes, notamment avec ce que l’on appelle plus communément les deepfakes, à savoir des faux très bien réalisés...

Ces technologies permettent de mapper dynamiquement un visage sur un autre dans une vidéo, en conservant les expressions, les mouvements et les éclairages de manière cohérente.

Le résultat est souvent indiscernable d’une vidéo authentique, sauf erreur flagrante des logiciels, comme des mains à quatre ou six doigts, car, on ne le répétera jamais assez, l’IA ne comprend pas ce qu’elle réalise.

Les générations suivantes intègrent des modèles 3D et des mécanismes d’attention et de vérification pour améliorer la qualité et la stabilité temporelle, jusqu’à synchroniser les lèvres du nouveau visage quand il parle !

Un peu de technique ?

Le face swapping repose sur plusieurs technologies principales, comme la détection faciale, qui permet de localiser précisément les traits du visage comme les yeux, le nez et la bouche.

Ensuite, la reconnaissance faciale identifie les visages et permet de les différencier.

À partir de là, les réseaux neuronaux, notamment les GANs, génèrent des visages réalistes à partir de données d’entraînement, de préférence une énorme base de données pour affiner la précision.

Enfin, le suivi en temps réel permet d’accompagner les mouvements du visage dans une séquence, et la synthèse vidéo intègre le visage avec un rendu fluide et crédible.

Parmi les applications les plus utilisées, on trouve Dlib, FaceNet, Face Fusion, DeepSwap, FaceSwap, ou encore les bibliothèques ARKit (Apple) et MediaPipe (Google) ainsi qu’Open Fusion, ou encore des outils en ligne comme insMind ou MyEdit.

Pour quels usages le face swapping ?

Le face swapping est largement utilisé à des fins récréatives : les filtres Snapchat ou Instagram permettent de se transformer en célébrité ou en personnage fictif, ou en un mélange des deux.

Les mèmes et vidéos virales exploitent l’effet comique ou absurde de l’échange de visages et les situations cocasses qu’elles engendrent, rien de bien méchant pour l’instant...

Dans le milieu du cinéma et des effets spéciaux, la technologie est utilisée pour rajeunir des acteurs, créer des doublures numériques ou ressusciter des personnages disparus, comme dans le dernier Indiana Jones, par exemple.

Usages professionnels et scientifiques

Dans le domaine médical, le face swapping peut servir à la modélisation faciale pour la chirurgie esthétique ou reconstructive. En psychologie, il peut aussi permettre d’aider à traiter des phobies ou des traumatismes.

Dans les jeux vidéo et la réalité virtuelle, il permet de créer des avatars personnalisés. Il est également utilisé dans la formation et la simulation, par exemple pour reconstituer des scènes historiques ou pédagogiques.

Enjeux éthiques et juridiques

Comme toujours avec les nouvelles technologies, une telle puissance peut aussi être utilisée à des fins malveillantes : des discours falsifiés peuvent être attribués à des personnalités publiques, avec des conséquences politiques ou sociales graves, surtout si c’est à la veille d’une élection…

L’utilisation de l’image d’autrui sans autorisation peut porter atteinte aux droits de la personne. D’ailleurs, certains pays, comme le Danemark, ont commencé à légiférer sur les deepfakes non consentis, notamment dans les domaines de la pornographie ou de la désinformation.

Notons que ceux qui publient sans vérification devront aussi, à terme, être sanctionnés, ce qui amoindrira l’intérêt de l’effet scoop immédiat pour les plateformes en ligne comme pour les médias : le temps du recul sera, au minimum, celui de la vérification.

Enfin, la technologie brouille également la frontière entre réalité et fiction, ce qui pose des défis pour la confiance dans les médias et la vérification des preuves visuelles, y compris dans le système judiciaire, ou même la vie de tous les jours.

Des outils de détection de deepfake sont en développement au niveau international pour lutter contre les abus, et certaines plateformes sociales mettent en place des politiques pour limiter la diffusion de contenus manipulés, mais c’est loin d’être suffisant…

Le futur du Face Swapping

Le face swapping pourrait évoluer vers une personnalisation extrême, avec des avatars réalistes dans le métavers ou des assistants virtuels à notre image.

Il pourrait aussi enrichir l’éducation et la culture, en permettant de revivre des scènes historiques ou d’incarner des personnages célèbres. En parallèle, une régulation renforcée sera nécessaire pour encadrer l’usage de ces technologies et garantir l’authenticité des contenus numériques.

Conclusion

Le face swapping est bien plus qu’un simple gadget numérique : c’est une technologie puissante qui transforme notre rapport à l’image, à l’identité, mais aussi et surtout, à la vérité…

Pour rester crédibles, les médias, mais aussi le monde politique, devront se donner les moyens d’authentifier les images et les sons, et ce de façon rapide et incontestable, probablement avec l’aide d’intelligences artificielles spécialisées supervisées par des humains, car cette association-là est sans doute encore la plus fiable !