Comment détecter les deepfakes à l'aide de techniques de criminalistique des médias

Qu'est-ce que le deepfake ?

Deepfake est la contraction de « deep learning » et de « fake news ». Il fait référence à la création de faux contenus multimédia (images, vidéos, sons). Contenu qui n'est pas un enregistrement de scènes ou d'événements physiques réels. On l'appelait autrefois effets spéciaux ou images générées par ordinateur. Cependant, pour faire du neuf avec de l'ancien, son nom a été modifié pour lui donner un attrait plus tendance, tout en incluant la très redoutée « Intelligence artificielle ».

Rien de nouveau sous le soleil, alors ?

Oui, deux points critiques.

Les outils se démocratisent et se trouvent facilement sur Internet

Des algorithmes extrêmement complexes et précis ont été développés en laboratoire et sont désormais disponibles en open source. Déplacer les lèvres de David Beckham pour les synchroniser avec un texte, faire dire quelque chose à Barack Obama et animer des images fixes pour faire revivre Marylin Monroe est désormais accessible à presque tout le monde.

De plus, si cela reste trop compliqué, on peut facilement engager des deepfakers sur Internet qui feront le travail à 20$ la vidéo.

Le processus est avant tout non collaboratif

Les effets spéciaux hollywoodiens ont l'immense avantage d'être produits dans un environnement collaboratif. Des capteurs sont placés sur le corps des acteurs qui ont été scannés afin d'avoir un modèle 3D le plus fidèle possible. En résumé, tout est mis en œuvre pour faciliter la tâche de post-production.

De toute évidence, Vladimir Poutine n'a jamais consenti à la réalisation des deepfakes dans lesquels il apparaît.

Les experts peuvent encore discerner des imperfections dans ces deepfakes, mais leur réalisme s'améliore à grande vitesse. Il ne suffit plus de le voir pour le croire ; on ne peut plus se fier à ce que l'on voit sur Internet. Les journalistes sont pétrifiés à l'idée de relayer des deepfakes à leur insu, ce qui ruinerait leur crédibilité. Certains prédisent l'apocalypse dans le monde des médias.

‍

Quels sont les outils d'investigation pour lutter contre le deepfake ?

Media Forensics étudie les contenus numériques : sont-ils réels ou faux ? Comme Sherlock Holmes, il suffit parfois d'une loupe : pourquoi Barack Obama ne le fait-il jamais cligner sur cette vidéo ? Pourquoi les bords de ses yeux et de sa bouche sont-ils flous alors que le reste de son visage est clair ? Même lorsque le montage et les effets spéciaux ne sont pas visibles à l'œil nu, les outils d'imagerie numérique peuvent identifier les marques invisibles à l'œil nu. Des méthodes spécifiques de génération de deepfakes laissent des motifs caractéristiques dans les valeurs des pixels ou, au contraire, ne laissent pas les mêmes traces qu'un capteur d'appareil photo numérique.

Anti-DeepFake, jusqu'où ira la réponse ?

C'est un jeu interminable du chat et de la souris, de la police et du voleur : si je sais que votre outil de criminalistique détecte la présence ou l'absence de telles ou telles traces dans mes deepfakes, je les transmettrai dans mon outil anti-deepfake pour les supprimer/les insérer artificiellement. Et ainsi de suite... il faut s'attendre à de longues séries d'articles scientifiques où l'un bloquera les avancées de l'autre, ce qui a bloqué les résultats précédents et ainsi de suite. Ce ne sera pas fascinant (avis du scientifique ici).

Qui du chat ou de la souris va gagner à la fin ?

Telle est la question ! Nous ne le savons pas encore, et le saurons-nous un jour d'ailleurs ?

Concentrez-vous sur deux approches anti-deepfake

Illustrons deux approches anti-deepfake qui nous plaisent particulièrement :

La recherche de l'œuvre originale

Certains deepfakes, notamment les photo-montages, utilisent et détournent du contenu original. Les manipulations sont apparentes lorsque nous avons devant nous un contenu original et un contenu manipulé. D'où l'idée de trouver du contenu original grâce à un moteur de recherche comme Google Image.

Oui, mais comment puis-je certifier que j'ai trouvé correctement l'image d'origine ?

C'est ici que le tatouage numérique invisible fait office de sceau pour attester de l'originalité du contenu. Qui le crée et quand ? Il est effectué par des agences de presse fiables et accréditées (Associated Press, Reuters, NY Times, etc.) après avoir minutieusement vérifié le contenu. D'autres proposent un référentiel d'images certifié authentique. Ajoutez à cela l'idée d'un registre décentralisé et un autre mot à la mode apparaît : la blockchain.

Criminalistique active

Recréer la chaîne de création d'une image depuis le passage de la lumière à travers l'objectif d'un appareil photo jusqu'au fichier jpg final est compliqué.

D'autant plus que chaque fabricant a sa propre recette de cuisine, chaque modèle d'appareil photo ou logiciel de traitement a ses paramètres, etc.

Enfin, l'intelligence artificielle et ses réseaux neuronaux profonds ont récemment remplacé les chaînes de traitement par des processus quelque peu opaques.

Il est difficile de savoir s'il est normal ou non de constater la présence ou l'absence de traces, en particulier lorsque les métadonnées EXIF ont été supprimées. À moins que vous ne les créiez délibérément dans des chaînes de traitement « officielles ». C'est l'idée principale d'un article scientifique qui sera présenté la semaine prochaine à la conférence IEEE International Conference on Computer Vision (ICCV 2019) par Pawel Korus et Nasir Memon, de la Tandon School of Engineering de l'Université de New York. Cet article est en train de vibrer sur le Web.

Les auteurs proposent d'entraîner deux réseaux de neurones profonds : le premier convertit une image « de capteur brute » (format RAW) en une image de bonne qualité afin que les traces de manipulation (compression JPEG, redimensionnement, etc.) soient détectables par le second réseau.

Le premier réseau facilite la tâche forensique du second : une bonne idée académique qui suppose que les fabricants de caméras mettront tous en œuvre cet algorithme. De plus, ces faussaires ne seront pas en mesure de former un réseau neuronal susceptible de détruire ce travail de criminalistique en cours. Le jeu du chat et de la souris, du policier et du voleur, continue...

‍