Les chercheurs en IA affirment une précision de 93 % dans la détection des frappes sur l'audio Zoom

Kevin Purdy - 7 août 2023 18h17 UTC

En enregistrant les frappes et en entraînant un modèle d'apprentissage profond, trois chercheurs affirment avoir atteint une précision de plus de 90 % dans l'interprétation des frappes à distance, sur la base des profils sonores de touches individuelles.

Dans leur article A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards (PDF complet), les chercheurs britanniques Joshua Harrison, Ehsan Toreini et Marhyam Mehrnezhad affirment que le trio omniprésent d'apprentissage automatique, de microphones et d'appels vidéo « présente une plus grande menace ». aux claviers que jamais." Les ordinateurs portables, en particulier, sont plus susceptibles d'avoir leur clavier enregistré dans des lieux publics plus calmes, comme les cafés, les bibliothèques ou les bureaux, note le journal. Et la plupart des ordinateurs portables disposent de claviers uniformes et non modulaires, avec des profils acoustiques similaires sur tous les modèles.

Les tentatives précédentes d'enregistrement des appels VoIP, sans accès physique au sujet, ont atteint une précision top-5 de 91,7 % sur Skype en 2017 et une précision de 74,3 % pour les appels VoIP en 2018. En combinant les résultats des interprétations des frappes au clavier avec un « modèle de Markov caché » ( HMM), qui devine les résultats les plus probables de la lettre suivante et peut corriger « hrllo » en « bonjour », a vu la précision d'une étude antérieure sur les canaux secondaires passer de 72 à 95 %, bien qu'il s'agisse d'une attaque contre les imprimantes matricielles. Les chercheurs de Cornell pensent que leur article est le premier à utiliser le récent changement radical dans la technologie des réseaux neuronaux, y compris les couches d'auto-attention, pour propager une attaque par canal audio secondaire.

Les chercheurs ont utilisé un MacBook Pro 2021 pour tester leur concept, un ordinateur portable qui « comporte un clavier identique dans la conception des commutateurs à leurs modèles des deux dernières années et potentiellement à ceux du futur », en tapant sur 36 touches 25 fois chacune pour entraîner leur modèle. sur les formes d'onde associées à chaque touche. Ils ont utilisé un iPhone 13 mini, à 17 cm, pour enregistrer le son du clavier pour leur premier test. Pour le deuxième test, ils ont enregistré les touches de l'ordinateur portable via Zoom, à l'aide des microphones intégrés du MacBook, avec la suppression du bruit de Zoom réglée à son niveau le plus bas. Dans les deux tests, ils ont réussi à atteindre une précision supérieure à 93 %, l’audio enregistré par téléphone se rapprochant de 95 à 96 %.

Les chercheurs ont noté que la position d'une touche semblait jouer un rôle important dans la détermination de son profil audio. La plupart des fausses classifications, écrivaient-ils, avaient tendance à se trouver à seulement une ou deux clés. Pour cette raison, le potentiel d’un deuxième système renforcé par une machine pour corriger les fausses clés, étant donné un vaste corpus linguistique et l’emplacement approximatif d’une frappe, semble fort.

Que pourrait-on faire pour atténuer ce type d’attaques ? Le document suggère quelques défenses :

Personnellement, je considère cela comme une validation de mon impulsion de maintenir une collection de claviers mécaniques avec différents types de commutateurs, mais les chercheurs n'ont pas eu leur mot à dire sur cette stratégie.

Des attaques par canal secondaire basées sur le son contre des données informatiques sensibles sont parfois observées dans les recherches, mais rarement lors de violations révélées. Les scientifiques ont utilisé les sons d'un ordinateur pour lire les clés PGP, ainsi que l'apprentissage automatique et les micros des webcams pour « voir » un écran distant. Les attaques par canaux secondaires elles-mêmes constituent cependant une menace réelle. Le scandale « Dropmire » de 2013, qui a vu les États-Unis espionner leurs alliés européens, était très probablement lié à une sorte d'attaque par canal secondaire, que ce soit par le biais de câbles, de fréquences radio ou de son.