forensics methods for deepfake detection

Deepfake: les Techniques de “Media Forensics” pour les détecter

Le jeu du Deepfake, de l’anti-deepfake et de l’anti-anti-deepfake.

Le Deepfake, qu’est-ce que c’est ?

Deepfake est la contraction de « deep learning » (apprentissage profond en bon français) et « fake news” (infox ?). Il s’agit de produire des contenus multimédia (images, vidéo, son) qui sont faux, c’est à dire, qui ne sont pas des captations de scènes physiques, d’événements qui se sont vraiment passés. On appelait cela avant les effets spéciaux, les images de synthèses etc. Mais pour faire du neuf avec du vieux, on a changé l’appellation pour lui donner un côté branché « Intelligence Artificielle ».

Rien de nouveau sous le soleil, alors ? Si, deux points importants.

1) Les outils se démocratisent et se trouvent facilement sur internet.

Des algorithmes extrêmement compliqués et très spécifiques (bouger les lèvres de David Beckham synchronisé sur un texte lu, faire dire à Barack Obama n’importe quoi, animer des images fixes pour faire revivre Marylin Monroe) ont été mis au point en laboratoire et sont maintenant offerts en open-source.

Et si cela reste trop compliqué pour vous, vous trouverez facilement sur Internet des deepfakers qui feront le travail à 20 € la vidéo.

2) Le processus est avant tout non-collaboratif.

Les effets spéciaux d’Hollywood ont l’immense avantage d’être réalisés dans un environnement collaboratif.  Des capteurs sont posés sur le corps des acteurs qui ont été scannés pour avoir un modèle 3D le plus fidèle possible. Bref, tout est mis en oeuvre pour faciliter la tâche de post-production.

Evidemment, Vladimir Poutine n’a jamais consenti à la réalisation des deepfakes où il apparaît. (pour plus de détails…)

Les experts discernent encore les imperfections dans ces deepfakes, mais leur réalisme s’améliore à vitesse grand V. Il ne suffit plus de le voir pour le croire, on ne peut plus avoir confiance en ce que l’on voit sur Internet. Les journalistes sont pétrifiés à l’idée de relayer des deepfakes à leur insu ce qui ruinerait leur crédibilité. Certains prédisent l’apocalypse dans la sphère médiatique.

L’anti-deepfake, quels sont les outils d’investigation ?

Media Forensics en anglais (les forensics sont les experts techniques dans la police américaine) est l’investigation sur des contenus numériques : sont-ils vrais ou fake ? On peut d’abord prendre sa loupe comme Sherlock Holmes : Pourquoi Barack Obama ne cligne jamais des yeux sur cette vidéo ? Pourquoi le contour de ses yeux et de sa bouche sont flous alors que le reste de son visage est net ?  Même si le montage, le trucage ne se voit pas à l’oeil nu, d’autres outils en imagerie numérique peuvent identifier des traces invisibles à l’oeil nu. Certaines manières de générer des deepfakes laissent des motifs caractéristiques dans les valeurs des pixels, ou au contraire ne laissent pas les mêmes traces que les capteurs numériques des appareils photos et caméras.

Le grand mérite de ces outils informatiques est le passage à l’échelle : pouvoir analyser des centaines d’images à la minute automatiquement.

L’anti-anti-deepfake, jusqu’où ira la riposte ?

C’est le jeu du chat et de la souris, du gendarme et du voleur. Si je sais que ton outil forensics détecte la présence ou l’absence de telle et telle traces dans mes deepfakes, alors je les passe dans mon outil anti-anti-deepfake pour les retirer/insérer artificiellement. Et ainsi de suite … de longues séries d’articles scientifiques sont à prévoir où l’un bloquera les avancées de l’autre qui bloqua les résultats précédents etc. Cela ne sera pas très passionnant (avis du scientifique).

Qui du chat ou de la souris gagnera à la fin ? This is the question (avis du citoyen)! On ne le sait pas encore, le saura-t-on jamais d’ailleurs ?

 

ZOOM SUR DEUX APPROCHES ANTI-DEEPFAKE

Illustrons deux approches anti-deepfake particulières qui nous plaisent bien:

 

1) La recherche de l’oeuvre originale.

Quelques deep-fakes et surtout les photo-montages utilisent et détournent des contenus originaux. Les manipulations sont flagrantes lorsque l’on a sous les yeux contenu original et contenu manipulé. D’où l’idée de retrouver le contenu original avec un moteur de recherche comme Google Image.

Oui, mais comment certifier si j’ai bien retrouvé l’image originale? C’est là que le tatouage invisible entre en jeu comme un sceau apposé pour attester l’originalité du contenu. Par qui et quand ? Par les agences photo de confiance dès la réception du contenu. D’autres proposent des registres d’images certifiées authentiques. Ajouter à cela l’idée d’un registre décentralisé et un autre mot-clé à la mode déboule : la blockchain.

 

2) Le forensics actif

Modéliser la chaîne de production d’une image depuis le passage de la lumière par la lentille d’un appareil photo jusqu’au fichier .jpg est compliqué.

D’autant plus que chaque fabricant a ses recettes de cuisine, chaque modèle d’appareil photo ou logiciel de traitement ses réglages…

Et pour finir, l’intelligence artificielle et ses réseaux de neurones profonds a récemment remplacé ces chaînes de traitement par des processus assez opaques.

Difficile de savoir s’il est normal ou pas de constater la présence ou l’absence de traces, surtout quand les metadata EXIF ont été supprimées. A moins d’en créer délibérément dans les chaînes de traitement “officielles”. C’est l’idée clé d’un article scientifique qui sera présenté la semaine prochaine à la conférence ICCV 2019 (IEEE International Conference on Computer Vision) par Pawel Korus et Nasir Memon, Tandon School of Engineering, New York University. Cet article et fait le buzz sur la toile actuellement.

Les auteurs proposent d’entraîner deux réseaux de neurones profonds : le premier convertit une image ‘brut de capteur’ (format RAW) en une image de bonne qualité de telle manière que des traces de manipulations (compression JPEG, rescaling, …) seront détectables par le second réseau.

Le premier réseau facilite la tâche forensic du deuxième. Une bonne idée … académique qui suppose que les fabricants d’appareils photo implémenteront tous cet algorithme, que les deep fakers eux ne le pourront pas ou qu’ils ne pourront pas à leur tour entraîner un réseau de neurones qui détruit ce travail de forensics actif. Le jeu du chat et de la souris, du gendarme et du voleur…

deepfake forensics
Afin de déjouer les méthodes sophistiquées de manipulation de photos et de vidéos en profondeur, les chercheurs de la NYU Tandon School of Engineering ont mis au point une technique permettant d’authentifier des images sur l’ensemble du pipeline, de l’acquisition à la livraison, en utilisant l’intelligence artificielle (IA). Lors des tests, un prototype de pipeline a augmenté la capacité de détection des manipulations d’environ 45% à plus de 90% sans sacrifier la qualité de l’image. © NYU Tandon

“Neural Imaging Pipelines – the Scourge or Hope of Forensics?”, Pawel Korus and Nasir Memon, Tandon School of Engineering, New York University.

Présenté la semaine prochaine à la conférence ICCV.