Apple a annoncé des changements éminents à ses systèmes d’exploitation qui comprennent de nouvelles fonctions de « protections pour les enfants » dans iCloud et dans iMessage. Si vous avez un tant soit peu suivi les guerres des crypto, vous savez ce que cela signifie : Apple prévoit d’intégrer une porte dérobée dans son système de stockage des données et dans son système de messagerie.
L’exploitation des enfants est un problème grave et Apple n’est pas la première entreprise de technologie à infléchir sa position de protection des renseignements personnels et de la vie privée pour tenter de la combattre. Mais ce choix aura un impact important sur la protection générale des renseignements personnels et de la vie privée des utilisateurs. Apple peut expliquer en long et en large comment sa mise en œuvre technologique de la porte dérobée qu’elle propose préservera les renseignements personnels, la vie privée et la sécurité, mais en fin de compte, une porte dérobée même très bien documentée, bien pensée et à portée restreinte est quand même une porte dérobée.
TELL APPLE: DON'T SCAN OUR PHONES
Dire que nous sommes déçus par le plan d’Apple est un euphémisme. De tout temps, Apple a été un ardent partisan du chiffrement de bout en bout, pour les mêmes raisons que la FFÉ a exprimées encore et encore. Le compromis d’Apple sur le chiffrement de bout en bout apaisera peut-être les organismes gouvernementaux aux É.-U. et à l’étranger, mais c’est une volte-face révoltante pour les utilisateurs qui comptaient sur la position dominante de l’entreprise en matière de protection des renseignements personnels et de sécurité.
L’entreprise prévoit installer deux fonctions principales sur tous les appareils Apple. La première est une fonction d’analyse qui analysera toutes les photos alors quelles sont téléversées dans iCloud Photos, afin de déterminer si elles correspondent à une photo dans la base de données de contenus pédopornographiques connus (CSAM) entretenue par le Centre national pour les enfants disparus et exploités (NCMEC). La seconde analyse toutes les images iMessage envoyées ou reçues par des comptes d’enfants, c’est-à-dire des comptes désignés comme étant détenus par un mineur, à la recherche de contenu sexuellement explicite. Et si l’enfant est assez jeune, cette fonction signale au parent l’envoi ou la réception de ces images. Cette fonction peut être activée ou désactivée par les parents.
Quand Apple déploiera ces fonctions « d’analyse côté client », à la lumière de ces changements les utilisateurs d’iCloud Photos, les utilisateurs-enfants d’iMessage et quiconque communique avec une ou un mineur par iMessage devra sérieusement examiner ses priorités en matière de protection des renseignements personnels, de vie privée et de sécurité, et ne pourra peut-être pas utiliser en toute sécurité ce qui était jusqu’à ce développement l’une des applis prééminentes de messagerie chiffrée.
Apple ouvre la voie à de plus larges abus
Nous l’avons dit auparavant et nous le disons encore maintenant : il est impossible de construire un système d’analyse côté client qui ne peut être utilisé que pour des images sexuellement explicites envoyées ou reçues par des enfants. Par conséquent toute initiative, même bien intentionnée, de bâtir un tel système rompra les promesses essentielles du chiffrement même du système de messagerie et ouvrira la voie à de plus larges abus.
Ce n’est pas un risque de dérive ; c’est un système fin prêt qui n’attend que des pressions externes pour effectuer le moindre changement.
Il ne prendrait qu’un élargissement des paramètres d’apprentissage automatique afin de chercher des types supplémentaires de contenu, pour élargir la porte dérobée étroite qu’Apple construit, ou un ajustement des drapeaux de configuration pour analyser non seulement les comptes d’enfants, mais aussi de n’importe qui. Ce n’est pas un risque de dérive ; c’est un système fin prêt qui n’attend que des pressions externes pour effectuer le moindre changement. Prenez l’exemple de l’Inde où un règlement adopté récemment comporte des exigences dangereuses qui imposent aux plateformes de déterminer les origines des messages et des contenus avant qu’ils ne soient affichés à l’écran. De nouvelles lois en Éthiopie qui exigent que les contenus de « mésinformation » soient retirés sous 24 heures pourraient s’appliquer aux services de messagerie. Et de nombreux autres pays, souvent ceux dont les gouvernements sont autoritaires, ont adopté des lois semblables. Les changements d’Apple permettraient de telles analyses, retraits et signalements dans son service de messagerie chiffré de bout en bout. Les cas d’abus sont faciles à imaginer : les gouvernements qui interdisent l’homosexualité pourraient exiger que l’on apprenne au système de classification à restreindre les contenus d’apparence LGBTQ+, ou un régime autoritaire pourrait exiger que l’outil de classification puisse repérer des images satiriques populaires ou des tracts de protestation.
Nous avons déjà vu cette mission se mettre en place. L’une des technologies conçues à l’origine pour analyser et hacher des représentations d’abus pédosexuels a été convertie pour créer une base de données de contenus « terroristes » que les entreprises peuvent alimenter et à laquelle elles peuvent accéder dans le but d’interdire de tels contenus. La base de données gérée par le Forum mondial d’Internet contre le terrorisme (GIFCT) est inquiétante sans supervision externe, malgré les appels de la société civile. Alors qu’il est par conséquent impossible de savoir si la base de donnée à surpasser son objectif, nous savons cependant que les plateformes marquent régulièrement des contenus critiques comme étant « terroristes », dont de la documentation sur la violence et la répression, des contre-discours, de l’art et des satires.
L’analyse des images d’iCloud Photos : un recul en matière de protection des renseignements personnels et de la vie privée
Le plan d’Apple d’analyser les photos qui sont téléversées dans iCloud Photos offre des points de ressemblance avec PhotoDNA de Microsoft. La principale différence entre les produits est que l’analyse d’Apple aura lieu sur les appareils. La base de données (qu’il est impossible de vérifier) d’images CSAM traitées sera distribuée dans le système d’exploitation (SE), les images traitées seront transformées afin que l’utilisateur ne puisse pas voir de quelle image il s’agit, et la correspondance de ces images transformées sera effectuée en utilisant une intersection privée définie qui fait en sorte que l’appareil ne saura pas si une correspondance a été trouvée. Cela signifie qu’une fois que ces fonctions seront mises en production, une version de la base de données NCMEC CSAM sera téléchargée dans tous les iPhone. Le résultat des correspondances sera téléversé vers Apple, mais Apple ne pourra découvrir les correspondances que si un nombre suffisant de photos a correspondu à un seuil prédéterminé.
Une fois qu’un certain nombre de photos est détecté, les photos en question sont envoyées à des personnes chez Apple qui procéderont à leur examen afin de déterminer si les photos font réellement partie de la base de données CSAM. Si la personne responsable de l’examen le confirme, ces photos sont envoyées au NCMEC et le compte utilisateur est désactivé. Encore une fois ce qui compte ici, au fond, est que quels que soient les aspects de protection des renseignements personnels, de vie privée et de sécurité que l’on trouve dans les détails techniques, toutes les photos téléversées vers iCloud seront analysées.
Ne vous y trompez pas : ceci est un recul en matière de protection des renseignements personnels et de la vie privée pour tous les utilisateurs d’iCloud Photos, et non une amélioration.
Actuellement, bien qu’Apple détient les clés pour visualiser les photos stockées dans iCloud Photos, elle n’analyse pas ces images. Des organismes de libertés civiles ont demandé à l’entreprise de supprimer sa capacité à le faire, mais Apple a choisi l’approche opposée et augmente ses connaissances du contenu des utilisateurs.
Apprentissage automatique et notifications parentales dans iMessage : une prise de distance par rapport à un chiffrement robuste
La seconde nouvelle fonction principale d’Apple est composée de deux sortes de notifications fondées sur l’analyse des photos envoyées et reçues par iMessage. Pour mettre en œuvre ces notifications, Apple déploiera sur les appareils un système de classification par apprentissage automatique conçu pour détecter les « images sexuellement explicites ». D’après Apple, ces fonctions seront limitées (au lancement) aux utilisateurs états-uniens de moins de 18 ans qui ont été inscrits dans un compte familial. Avec ces nouveaux processus, si un compte détenu par un enfant de moins de 13 ans essaie d’envoyer une image que le système de classification par apprentissage automatique de l’appareil juge sexuellement explicite, une notification apparaît et indique à l’enfant de moins de 13 ans que ce contenu sera signalé à son parent. Si l’enfant de moins de 13 ans choisit quand même d’envoyer le contenu, il ou elle devra accepter que cela soit signalé au « parent », et l’image sera irrévocablement enregistrée dans la section des contrôles parentaux de leur téléphone afin que le parent puisse la visualiser ultérieurement. Pour les utilisateurs âgés de 13 et 17 ans, un avertissement semblable de notification apparaît, mais sans la notification parentale.
Pareillement, si l’enfant de moins de 13 ans reçoit une image qu’iMessage juge être « sexuellement explicite », avant d’être autorisé à visualiser la photo, une notification apparaît qui indique à l’enfant de moins de 13 ans que la réception d’une image sexuellement explicite sera signalée à ses parents. Encore une fois, si l’enfant de moins de 13 ans accepte l’image, cela est signalé aux parents et l’image sera enregistrée dans le téléphone. Les utilisateurs âgés de 13 et 17 ans recevront aussi un avertissement de notification, mais cette action ne sera pas signalée sur l’appareil du parent.
Cela signifie que si, par exemple, une ou un mineur qui utilise un iPhone sur laquelle ces fonctions ne sont pas activées envoie une photo à un autre mineur pour lequel les fonctions sont activées, il ne recevra pas de notification pour indiquer qu’iMessage considère son image comme explicite ni que cela sera signalé au parent du ou de la destinataire. Les parents du ou de la destinataire seront informés du contenu sans que l’envoyeur ait consenti à leur implication. De plus, une fois qu’elle a été envoyée ou reçue, l’« image sexuellement explicite » ne peut pas être supprimée de l’appareil de l’utilisateur de moins de 13 ans.
Qu’il ou qu’elle envoie ou reçoit un tel contenu, l’utilisateur de moins de 13 ans a l’option de refuser sans que cela soit signalé au parent. Néanmoins, ces notifications donnent l’impression qu’Apple surveille l’utilisateur et que, dans le cas des moins de 13 ans, Apple a essentiellement donné cette possibilité aux parents.
Ces notifications donnent l’impression qu’Apple surveille l’utilisateur et que, dans le cas des moins de 13 ans, Apple a essentiellement donné cette possibilité aux parents.
Il est aussi important de noter qu’Apple a choisi d’utiliser la technologie de systèmes de classification par apprentissage automatique, reconnue comme étant difficile à vérifier, pour déterminer ce qui constitue une image sexuellement explicite. Des années de documentation et de recherche nous ont appris que les technologies d’apprentissage automatique utilisées sans supervision par une personne ont tendance à classer les contenus de manière erronée, dont les contenus supposément « explicites sexuellement ». Quand la plateforme de blogage Tumblr a instauré un filtre pour les contenus de nature sexuelle en 2018, l’on sait qu’elle a aussi attrapé toutes sortes d’autres images dans le filet, dont des photos de chiots poméraniens, des égoportraits de personnes entièrement vêtues et plus encore. Les tentatives de Facebook de contrôler la nudité ont entraîné le retrait de photos de statues célèbres telles que la petite sirène de Copenhague. Les antécédents de ces filtres prouvent qu’ils ont un effet négatif sur l’expression, et ils ne manquent pas de raisons de croire qu’Apple en fera tout autant.
Dans la mesure où la détection d’« images sexuellement explicites » utilisera l’apprentissage automatique sur l’appareil pour analyser le contenu des messages, Apple ne pourra plus dire en toute honnêteté qu’iMessage est « chiffrée de bout en bout ». Apple et ses partisans pourraient prétendre qu’une analyse avant ou après qu’un message est chiffré ou déchiffré garde la promesse « de bout en bout » intacte, mais ce serait une manœuvre sémantique pour couvrir un virage profond quant à la position de l’entreprise à l’égard d’un chiffrement robuste.
Quel que soit le nom qu’Apple lui donne, ce n’est plus un système de messagerie sécurisée
À titre de rappel, un système de messagerie sécurisé est un système dans lequel personne, sauf l’utilisateur et ses destinataires désignés, ne peut lire les messages ou autrement analyser leur contenu pour déduire ce dont ils parlent. Malgré le fait que les messages passent par un serveur, un message chiffré de bout en bout ne permettra pas au serveur de connaître le contenu d’un message. Quand le même serveur a une voie pour divulguer des renseignements sur le contenu d’une portion importante des messages, ce n’est pas du chiffrement de bout en bout. Dans ce cas, bien qu’Apple ne verra jamais les images envoyées ou reçues par l’utilisateur, elle a quand même créé le système de classification qui analyse les images qui déclencheraient des notifications au parent. Par conséquent, il pourrait maintenant être possible pour Apple d’ajouter de nouvelles données d’apprentissage au système de classification envoyé aux appareils des utilisateurs ou d’envoyer des notifications à un public plus large, ce qui aurait facilement un effet négatif sur l’expression ou la censurerait.
Même sans de tels développements, ce système donnera aux parents qui n’ont pas à cœur l’intérêt supérieur de leurs enfants une façon de plus de les surveiller et de les contrôler, limitant ainsi le potentiel d’Internet d’élargir le monde de ceux dont les vies seraient autrement restreintes. Et comme les plans de partage familial pourraient être organisés par des conjointes ou conjoints violents, il est raisonnable d’imaginer que cette fonction pourrait être utilisée comme une forme de logiciel de harcèlement.
Les gens ont le droit de communiquer en toute confidentialité sans porte dérobée ni censure, même si ces personnes sont des mineurs. Apple devrait prendre la bonne décision : garder les appareils des utilisateurs exempts de toute porte dérobée.
TELL APPLE: DON'T SCAN OUR PHONES
Read further on this topic:
- If You Build It, They Will Come: Apple Has Opened the Backdoor to Increased Surveillance and Censorship Around the World
- How LGBTQ Content is Censored Under the Guise of "Sexually Explicit"
- EFF Joins Global Coalition Asking Apple CEO Tim Cook to Stop Phone-Scanning
- Apple’s Plan to Scan Photos in Messages Turns Young People Into Privacy Pawns
- 25,000 EFF Supporters Have Told Apple Not To Scan Their Phones
