Apple hat bevorstehende Änderungen an seinen Betriebssystemen angekündigt, die neue "Schutzfunktionen für Kinder" in iCloud und iMessage beinhalten. Wer die Krypto-Kriege schon länger verfolgt, weiß, was das bedeutet: Apple plant, eine Hintertür in sein Datenspeichersystem und sein Nachrichtensystem einzubauen.
Die Ausbeutung und sexueller Missbrauch von Kindern ist ein ernsthaftes Problem, und Apple ist nicht das erste Technologieunternehmen, das seine Haltung zum Schutz der Privatsphäre aufgibt, um gegen dieses Phänomen zu kämpfen. Doch diese Entscheidung hat einen hohen Preis für die allgemeine Privatsphäre der Nutzer*innen. Apple kann ausführlich erklären, wie seine technische Implementierung die Privatsphäre und die Sicherheit in seiner vorgeschlagenen Hintertür schützen wird, aber am Ende des Tages ist selbst eine gründlich dokumentierte, sorgfältig durchdachte und eng begrenzte Hintertür immer noch eine Hintertür.
TELL APPLE: DON'T SCAN OUR PHONES
Zu sagen, dass wir von Apples Plänen enttäuscht sind, ist eine Untertreibung. Apple ist seit jeher ein Verfechter der Ende-zu-Ende-Verschlüsselung, und zwar aus denselben Gründen, die die EFF immer wieder angeführt hat. Apples Kompromiss bei der Ende-zu-Ende-Verschlüsselung mag Regierungsbehörden in den USA und im Ausland besänftigen, aber es ist eine schockierende Kehrtwende für Nutzer, die sich auf die Führungsrolle des Unternehmens in Sachen Datenschutz und Sicherheit verlassen haben.
Es gibt zwei Hauptfunktionen, die das Unternehmen in jedes Apple-Gerät einbauen will. Die eine ist eine Scan-Funktion, die alle Fotos beim Hochladen in iCloud Fotos daraufhin überprüft, ob sie mit einem Foto in der Datenbank für bekanntes Material über sexuellen Kindesmissbrauch (Child Sexual Abuse Material, CSAM) übereinstimmen, die vom National Center for Missing & Exploited Children (NCMEC) geführt wird. Die andere Funktion durchsucht alle iMessage-Bilder, die von Kinderkonten (d. h. Konten, die als Eigentum eines Minderjährigen gekennzeichnet sind) gesendet oder empfangen werden, nach sexuell eindeutigem Material und benachrichtigt die Eltern, wenn diese Bilder gesendet oder empfangen werden. Diese Funktion kann von den Eltern ein- oder ausgeschaltet werden.
Wenn Apple diese Funktionen zum "kundenseitigen Scannen" freigibt, müssen Nutzer von iCloud Photos, minderjährige Nutzer von iMessage und alle, die mit Minderjährigen über iMessage kommunizieren, ihre Prioritäten in Bezug auf Datenschutz und Sicherheit im Kontext dieser Änderungen sorgfältig abwägen und werden möglicherweise nicht mehr in der Lage sein, das zu nutzen, was bis zu dieser Entwicklung einer der führenden verschlüsselten Messenger war.
Apple öffnet die Tür für weiteren Missbrauch
Wir haben es schon einmal gesagt und wiederholen es auch jetzt: Es ist unmöglich, ein System für kundenseitige Scans zu entwickeln, das nur für sexuell eindeutige Bilder verwendet werden kann, die von Kindern gesendet oder empfangen werden. Folglich würde selbst ein gut gemeinter Versuch, ein solches System zu entwickeln, wichtige Versprechen der Messenger-Verschlüsselung selbst brechen und die Tür für breiteren Missbrauch öffnen.
Das ist kein Ausrutscher, das ist ein ausgereiftes System, das nur darauf wartet, dass von außen Druck ausgeübt wird, um die kleinste Änderung vorzunehmen.
Alles, was nötig wäre, um die enge Hintertür, die Apple baut, zu erweitern, ist eine Erweiterung der Parameter für das maschinelle Lernen, um nach zusätzlichen Arten von Inhalten zu suchen. Eine einfache Änderung der Konfigurationskennzeichen, um nicht nur die Konten von Kindern, sondern von jedermann zu scannen, ist ebenso möglich.
Das ist kein Ausrutscher, sondern ein ausgereiftes System, das nur darauf wartet, dass von außen Druck ausgeübt wird, um die kleinste Änderung vorzunehmen.
Das Beispiel Indiens zeigt dies deutlich. Die dort kürzlich verabschiedeten Vorschriften enthalten gefährliche Anforderungen an Plattformen, die Herkunft von Nachrichten zu identifizieren und Inhalte vorab zu prüfen. Neue Gesetze in Äthiopien, die vorschreiben, dass Inhalte von „Fehlinformationen“ innerhalb von 24 Stunden entfernt werden müssen, könnten auch für Messaging-Dienste gelten. Und viele andere Länder – häufig solche mit autoritären Regierungen – haben ähnliche Gesetze erlassen. Apples Änderungen würden ein solches Screening, die Entfernung von Inhalten und die Berichterstattung in seinen End-to-End-Nachrichtendiensten ermöglichen. Die Missbrauchsfälle sind leicht vorstellbar: Regierungen, die Homosexualität verbieten, könnten verlangen, dass der Algorithmus darauf trainiert wird, offensichtliche LGBTQ+-Inhalte einzuschränken, oder ein autoritäres Regime könnte verlangen, dass der Algorithmus in der Lage ist, beliebte satirische Bilder oder Protestflugblätter zu erkennen.
Wir kennen diese schleichenden Veränderungen bereits aus der Realität. Eine der Technologien, die ursprünglich entwickelt wurde, um Bilder sexuellen Missbrauchs von Kindern zu scannen und zu vernichten, wurde umfunktioniert, um eine Datenbank mit "terroristischen" Inhalten zu erstellen, zu der Unternehmen beitragen und auf die sie zugreifen können, um solche Inhalte zu verbieten. Die Datenbank, die vom Global Internet Forum to Counter Terrorism (GIFCT) verwaltet wird, wird trotz der Forderungen der Zivilgesellschaft durch keine externe Stelle kontrolliert. Das ist beunruhigend. Denn wir wissen, dass Plattformen regelmäßig kritische Inhalte als „Terrorismus“ kennzeichnen, darunter Dokumentationen von Gewalt und Unterdrückung, Beiträge von Oppositionellen, Kunst und Satire.
Bild-Scans bei iCloud Fotos: Ein Verlust an Privatsphäre
Apples Plan, die Fotos, die in iCloud hochgeladen werden, zu scannen, ähnelt in mancher Hinsicht der PhotoDNA von Microsoft. Der Hauptunterschied zum Produkt besteht darin, dass das Scannen bei Apple auf dem Gerät stattfindet. Die (nicht überprüfbare) Datenbank der verarbeiteten Bilder von Kindesmissbrauch wird im Betriebssystem verteilt, die verarbeiteten Bilder werden so umgewandelt, dass die Benutzer nicht sehen können, um welches Bild es sich handelt, und der Abgleich erfolgt auf diesen umgewandelten Bildern unter Verwendung einer privaten Schnittmenge, wobei das Gerät nicht weiß, ob eine Übereinstimmung gefunden wurde. Das bedeutet, dass bei der Einführung der Funktionen eine Version der NCMEC-CSAM-Datenbank auf jedes einzelne iPhone hochgeladen wird. Das Ergebnis des Abgleichs wird an Apple gesendet, aber Apple kann erst dann sagen, dass Übereinstimmungen gefunden wurden, wenn eine ausreichende Anzahl von Fotos mit einem vorgegebenen Schwellenwert übereinstimmt.
Sobald eine bestimmte Anzahl von Fotos entdeckt wurde, werden die fraglichen Fotos an menschliche Prüfer bei Apple weitergeleitet, die feststellen, ob die Fotos tatsächlich Teil der CSAM-Datenbank sind. Bestätigt der menschliche Prüfer dies, werden die Fotos an das NCMEC weitergeleitet und das Konto des Nutzers wird deaktiviert. Auch hier gilt: Unabhängig von den Datenschutz- und Sicherheitsaspekten in den technischen Details werden alle in iCloud hochgeladenen Fotos gescannt.
Derzeit besitzt Apple zwar die Schlüssel zum Anzeigen der in iCloud Photos gespeicherten Fotos, scannt diese Bilder aber nicht. Bürgerrechtsorganisationen haben das Unternehmen aufgefordert, diese Möglichkeit zu entfernen. Apple wählt jedoch den gegenteiligen Ansatz und verschafft sich mehr Wissen über die Inhalte der Nutzer.
Maschinelles Lernen und Elternbenachrichtungen in iMessage: Eine Abkehr von starker Verschlüsselung
Die zweite wichtige neue Funktion von Apple sind zwei Arten von Benachrichtigungen, die auf dem Scannen von über iMessage gesendeten oder empfangenen Fotos basieren. Um diese Benachrichtigungen einzuführen, wird Apple einen geräteeigenen Klassifizierungs-Algorithmus einführen, der „sexuell eindeutige Bilder“ erkennen soll. Nach Angaben von Apple werden diese Funktionen (zum Start) auf US-Nutzer unter 18 Jahren beschränkt sein, die in einem Familienkonto angemeldet sind. Wenn ein Konto, das von einem Kind unter 13 Jahren genutzt wird, ein Bild verschicken möchte, das von der maschinellen Lernfunktion auf dem Gerät als sexuell eindeutiges Bild erkannt wird, erscheint eine Benachrichtigung, die dem Kind unter 13 Jahren mitteilt, dass seine Eltern über diesen Inhalt informiert werden. Wenn das Kind unter 13 Jahren den Inhalt trotzdem sendet, muss es akzeptieren, dass die Eltern benachrichtigt werden, und das Bild wird unwiderruflich im Bereich der Kindersicherung des Telefons gespeichert, damit die Eltern es später ansehen können. Bei Nutzern zwischen 13 und 17 Jahren wird eine ähnliche Warnmeldung angezeigt, allerdings wird keine Benachrichtigung an die Eltern geschickt.
Ähnlich verhält es sich, wenn ein Kind unter 13 Jahren ein Bild erhält, das von iMessage als „sexuell explizit" eingestuft wird. Bevor es das Foto ansehen darf, erscheint eine Benachrichtigung, die das Kind darüber informiert, dass seine Eltern über den Erhalt sensiblen Bildmaterials informiert werden. Wenn der*die Nutzer*in unter 13 Jahren das Bild akzeptiert, werden die Eltern benachrichtigt und das Bild wird auf dem Telefon gespeichert. Nutzer zwischen 13 und 17 Jahren erhalten ebenfalls eine Warnmeldung, aber eine Benachrichtigung über diese Aktion wird nicht an das Gerät der Eltern gesendet.
Wenn also beispielsweise ein*e Minderjährige*r, der*die ein iPhone ohne diese Funktionen verwendet, ein Foto an eine*n andere*n Minderjährige*n sendet, der*die diese Funktionen aktiviert hat, erhält er*sie keine Benachrichtigung, dass iMessage sein*ihr Bild als „explizit“ einstuft oder dass die Eltern des Empfängers benachrichtigt werden. Die Eltern des Empfängers werden über den Inhalt informiert, ohne dass der Absender sein Einverständnis dazu gegeben hat. Darüber hinaus kann das „sexuell eindeutige Bild", sobald es gesendet oder empfangen wurde, nicht mehr vom Gerät des Nutzers unter 13 Jahren gelöscht werden.
Unabhängig davon, ob derartige Inhalte gesendet oder empfangen werden, haben Nutzer unter 13 Jahren die Möglichkeit, dies abzulehnen, ohne dass die Eltern benachrichtigt werden. Nichtsdestotrotz vermitteln diese Benachrichtigungen den Eindruck, dass Apple dem Nutzer über die Schulter schaut – und im Falle von Kindern unter 13 Jahren ist es im Wesentlichen das, was Apple den Eltern ermöglicht.
Diese Benachrichtigungen erwecken den Eindruck, dass Apple dem Nutzer über die Schulter schaut – und im Falle von Kindern unter 13 Jahren ist es im Wesentlichen das, was Apple den Eltern ermöglicht.
Wichtig ist auch, dass Apple die notorisch schwer zu überprüfende Technologie des maschinellen Lernens verwendet, um zu bestimmen, was ein sexuell eindeutiges Bild ist. Aus jahrelanger Dokumentation und Forschung wissen wir, dass Technologien des maschinellen Lernens, die ohne menschliche Aufsicht eingesetzt werden, Inhalte häufig falsch klassifizieren, auch vermeintlich „sexuell eindeutige“ Inhalte. Als die Blogging-Plattform Tumblr im Jahr 2018 einen Filter für sexuelle Inhalte einführte, wurden bekanntermaßen alle möglichen anderen Bilder im Netz erfasst, darunter Bilder von Zwergspitz-Welpen, Selfies vollständig bekleideter Personen und mehr. Die Versuche von Facebook, Nacktheit zu kontrollieren, haben dazu geführt, dass Bilder von berühmten Statuen wie der Kleinen Meerjungfrau in Kopenhagen entfernt wurden. Diese Filter haben in der Vergangenheit die freie Meinungsäußerung unterdrückt, und es gibt viele Gründe für die Annahme, dass Apples Filter dasselbe tun wird.
Da bei der Erkennung eines „sexuell eindeutigen Bildes“ maschinelles Lernen auf dem Gerät eingesetzt wird, um den Inhalt von Nachrichten zu scannen, kann Apple iMessage nicht mehr ernsthaft als „Ende-zu-Ende-verschlüsselt“ bezeichnen. Apple und seine Befürworter mögen argumentieren, dass das Scannen vor oder nach der Ver- oder Entschlüsselung einer Nachricht das „Ende-zu-Ende“-Versprechen intakt hält, aber das käme eher einer Vertuschung gleich, um eine tektonische Verschiebung in der Haltung des Unternehmens gegenüber starker Verschlüsselung zu verbergen.
Wie auch immer Apple es nennt, es ist nicht mehr sicheres Messaging
Zur Erinnerung: Ein sicheres Nachrichtensystem ist ein System, in dem niemand außer dem Benutzer und den vorgesehenen Empfängern die Nachrichten lesen oder ihren Inhalt analysieren kann, um daraus zu schließen, worüber sie sprechen. Obwohl die Nachrichten einen Server durchlaufen, kann der Server bei einer Ende-zu-Ende-verschlüsselten Nachricht den Inhalt der Nachricht nicht erkennen. Wenn derselbe Server über einen Kanal verfügt, der Informationen über den Inhalt eines erheblichen Teils der Nachrichten preisgibt, handelt es sich nicht um eine Ende-zu-Ende-Verschlüsselung. In diesem Fall sieht Apple zwar niemals die vom Benutzer gesendeten oder empfangenen Bilder, hat aber dennoch den Klassifikator erstellt, der die Bilder scannt, die die Benachrichtigungen an die Eltern liefern würden. Daher wäre es für Apple nun möglich, dem Klassifikator, der an die Geräte der Nutzer gesendet wird, neue Trainingsdaten hinzuzufügen oder Benachrichtigungen an ein breiteres Publikum zu senden, was leicht zu einer Zensur führen und die Meinungsfreiheit einschränken würde.
Aber auch ohne solche Erweiterungen gibt dieses System Eltern, die nicht das Wohl ihrer Kinder im Auge haben, eine weitere Möglichkeit, sie zu überwachen und zu kontrollieren, und schränkt das Potenzial des Internets ein, die Welt derjenigen zu erweitern, deren Leben sonst eingeschränkt sind. Und da die Pläne zur gemeinsamen Nutzung von Familienmitgliedern von missbräuchlichen Partnern organisiert werden können, ist es nicht abwegig, sich vorzustellen, dass diese Funktion als eine Form von Stalkerware verwendet wird.
Die Menschen haben das Recht, privat und ohne Hintertüren oder Zensur zu kommunizieren, auch wenn es sich um Minderjährige handelt. Apple sollte die richtige Entscheidung treffen und diese Hintertüren von den Geräten der Nutzer fernhalten.
TELL APPLE: DON'T SCAN OUR PHONES
Read further on this topic:
- If You Build It, They Will Come: Apple Has Opened the Backdoor to Increased Surveillance and Censorship Around the World
- How LGBTQ Content is Censored Under the Guise of "Sexually Explicit"
- EFF Joins Global Coalition Asking Apple CEO Tim Cook to Stop Phone-Scanning
- Apple’s Plan to Scan Photos in Messages Turns Young People Into Privacy Pawns
