Apple объявила о предстоящих изменениях в своих операционных системах, которые добавят новые функции «защиты детей» в iCloud и iMessage. Если вы хотя бы немного следили за крипто-войнами, то вам известно что это значит: Apple планирует встроить бэкдор в свою систему хранения данных и в систему обмена сообщениями.
Эксплуатация детей – это серьёзная проблема, и Apple не первая технологическая компания, которая в попытке бороться с ней меняет свою позицию по защите приватности. Но это решение дорого обойдется приватности пользователей в целом. Apple может подробно объяснить, как техническая реализация этого решения сохранит конфиденциальность и безопасность в предлагаемом бэкдоре, но даже тщательно задокументированный, хорошо продуманный и узконаправленный бэкдор по-прежнему является бэкдором.
TELL APPLE: DON'T SCAN OUR PHONES
Сказать, что мы разочарованы планами Apple – это не сказать ничего. Apple всегда была чемпионом по сквозному шифрованию. И причины этого подхода корпорации полностью совпадали с пониманием, которое EFF формулировал раз за разом. Компромисс Apple в отношении сквозного шифрования может успокоить правительственные учреждения в США и за рубежом, но представляет собой шокирующий поворот на 180 градусов для пользователей, которые полагались на лидерство компании в области приватности и безопасности.
Компания планирует установить две новые функции на все устройства Apple. Первая – это функция сканирования, которая будет проверять все фотографии по мере их загрузки в iCloud Photos на наличие сходств с фотографиями из баз данных известных материалов о сексуальном насилии над детьми (CSAM), поддерживаемых Национальным центром пропавших и эксплуатируемых детей (NCMEC). Вторая функция сканирует все изображения iMessage, отправленные или полученные учетными записями, принадлежащими несовершеннолетним. В случае обнаружения материалов откровенного сексуального характера в получаемых или отправляемых сообщениях, родители получат уведомление. Вторая функция может быть включена или отключена родителями.
Когда Apple запустит эти функции «сканирования на стороне клиента», пользователи iCloud Photos, а также несовершеннолетние пользователи iMessage и любой, кто с ними общается, должны будут тщательно рассмотреть свои приоритеты приватности и безопасности. Возможно, свете этих изменений они не смогут больше безопасно использовать инструмент, который до этого нововведения являлся одним из лучших зашифрованных мессенджеров.
Apple открывает дверь для более масштабных злоупотреблений
Мы уже говорили об этом раньше и повторим снова: невозможно построить систему сканирования на стороне клиента, которая будет использоваться только для изображений сексуального насилия, отправленных или полученных детьми. Как следствие, даже благонамеренные усилия по созданию такой системы нарушат ключевые обещания шифрования в мессенджере и откроют дверь для более масштабных злоупотреблений.
Это не тонкий лёд; это полноценно построенная система, которая просто ждет, пока внешнее давление внесет малейшие изменения.
Все, что потребуется, чтобы расширить создаваемый Apple узкий бэкдор, - это расширение параметров машинного обучения для поиска дополнительных типов контента или настройка конфигурации, позволяющая сканировать не только детские учетные записи.
Это не тонкий лёд; это полноценно построенная система, которая просто ждет, пока внешнее давление внесет малейшие изменения. Возьмем пример Индии, где недавно принятые правила предписывают опасные требования к платформам. Согласно этим правилам платформы должны идентифицировать происхождение сообщений и осуществлять пре-скрининг контента. Новые законы Эфиопии, требующие удаления «дезинформирующего» контента в течение 24 часов, могут распространяться и на мессенджеры. Многие другие страны, часто с авторитарными правительствами, приняли похожие законы. Внедряемые Apple инновации позволят осуществлять скрининг, удаление и уведомление о наличии «нежелательного» контента в полностью зашифрованных сообщениях iMessage. Случаи злоупотреблений легко представить: правительства, которые запрещают гомосексуализм, могут потребовать, чтобы классификатор был обучен ограничивать доступ к ЛГБТ контенту, а авторитарный режим может потребовать, чтобы классификатор мог определять популярные сатирические изображения или протестные материалы.
Мы уже видели, как эта миссия медленно реализуется. Одна из технологий, первоначально созданных для сканирования и хэширования изображений сексуального насилия над детьми, была перепрофилирована для создания базы данных «террористического» контента, которая может пополняться компаниями и быть использована с целью запрета такого контента. База данных, управляемая Глобальным интернет-форумом по борьбе с терроризмом (GIFCT), до сих пор является закрытой, несмотря на призывы гражданского общества. По этой причине мы не можем выявить ошибки в её работе, но мы знаем, что платформы регулярно помечают критический контент как «терроризм», включая документацию насилия и репрессий, ответы на враждебные высказывания, искусство и сатиру.
Сканирование изображений в iCloud Photos: ухудшение приватности
План Apple по сканированию фотографий, которые загружаются в iCloud Photos, в некотором роде похож на PhotoDNA от Microsoft. Основное отличие продукта заключается в том, что сканирование Apple будет происходить на самом устройстве. (Неаудируемая) база данных обработанных образов CSAM будет находиться в операционной системе (ОС), обработанные изображения будут преобразованы таким образом, что пользователи не смогут их видеть, а сопоставление будет выполняться на уже преобразованных изображениях с использованием технологии Private Set Intersection. В результате даже устройство не будет знать, было ли найдено соответствие. Это означает, что после запуска новых функций, версия базы данных NCMEC CSAM будет загружена на каждый iPhone. Результаты сопоставления будут отправляться в Apple. При этом компания Apple сможет определить сам факт наличия сходств, как только совпадения будут найдены на достаточном количестве фотографий в соответствии с заданным пороговым значением.
Как только определенное количество фотографий будет обнаружено, эти файлы будут отправлены рецензентам в Apple, которые определят, что фотографии на самом деле являются частью базы данных CSAM. Если это подтвердится рецензентом, фотографии будут отправлены в NCMEC, а учетная запись пользователя будет отключена. Опять же суть в том, что независимо от аспектов приватности и безопасности в технических деталях, все фотографии, загруженные в iCloud, будут отсканированы.
Не заблуждайтесь: это ухудшение приватности для всех пользователей iCloud Photos, а не улучшение.
В настоящее время Apple хоть и имеет ключи доступа к фотографиям, хранящимся в iCloud Photos, компания не сканирует эти изображения. Организации по защите гражданских свобод просили компанию полностью отключить эту возможность. Но Apple выбирает противоположный подход и позволяет себе знать больше о пользовательском контенте.
Машинное обучение и уведомление родителей в iMessage: отход от надежного шифрования
Второй новой функцией Apple являются два вида уведомлений, основанных на сканировании фотографий, отправленных или полученных в iMessage. Чтобы реализовать эти уведомления, Apple запустит на устройствах функцию машинного обучения с целью обнаружения «изображений откровенно сексуального характера». По словам Apple, эти функции распространяются (при запуске) лишь на пользователей из США в возрасте до 18 лет, которые были зарегистрированы в семейной учетной записи. При этом, если ребенок в возрасте до 13 лет захочет отправить изображение, которое классификатор машинного обучения на устройстве определяет как сексуально откровенное, появится уведомление, сообщающее, что его родитель будет уведомлен об этом контенте. Если ребенок по-прежнему решает отправить контент, он должен согласиться с тем, что родитель будет уведомлен, и изображение будет сохранено в разделе родительского контроля его телефона для последующего просмотра родителем. Для пользователей в возрасте от 13 до 17 лет появится аналогичное предупреждение без отправки уведомления родителю.
Аналогичным образом, если ребенок в возрасте до 13 лет получает изображение, которое iMessage считает «сексуально откровенным», прежде чем ему разрешат просмотреть фотографию, появится уведомление о том, что его родитель будет уведомлен об инциденте. Опять же, если пользователь в возрасте до 13 лет принимает изображение, родитель уведомляется, и изображение сохраняется на телефоне. Пользователи в возрасте от 13 до 17 лет также получат предупреждающее уведомление, но уведомление об этом действии не будет отправлено на устройство родителя.
Это означает, что если несовершеннолетний, использующий iPhone без этих функций, отправляет фотографию другому несовершеннолетнему, у которого эти функции включены, отправитель не получает уведомления о том, что iMessage считает это изображение «откровенным» или что родитель получателя будет уведомлен. Родители получателя будут проинформированы о содержании без согласия отправителя. Кроме того, после отправки или получения «сексуально откровенное изображение» не может быть удалено с устройства пользователя в возрасте до 13 лет.
Независимо от того, идет ли речь об отправке или получении такого контента, пользователь в возрасте до 13 лет имеет возможность отказаться от этого без уведомления родителя. Тем не менее, наличие этих уведомлений создаёт ощущение, что Apple следит за пользователем – и в случае с пользователями моложе 13 лет Apple, по сути, дала родителям возможность слежения.
Тем не менее, наличие этих уведомлений создаёт ощущение, что Apple следит за пользователем – и в случае с пользователями моложе 13 лет Apple, по сути, дала родителям возможность слежения.
Также важно отметить, что Apple решила использовать печально известную и сложную для аудита технологию классификаторов машинного обучения для определения сексуально откровенных изображений. Из многолетней документации и исследований мы знаем, что технологии машинного обучения, используемые без мониторинга со стороны, имеют свойство неправомерно классифицировать контент, в том числе как якобы «сексуально откровенный». Когда платформа Tumblr установила в 2018 году фильтр для сексуального контента, она блокировала всевозможные другие изображения в сети, включая фотографии щенков померанского шпица, селфи полностью одетых людей и многое другое. Попытки Facebook контролировать наготу привели к удалению фотографий известных статуй, таких как копенгагенская Русалочка. Подобные фильтры имеют пугающую историю реализации, и есть много оснований полагать, что Apple здесь не отличится.
Поскольку для обнаружения «откровенных изображений» содержимое сообщений будет сканироваться с использованием машинного обучения на устройстве, Apple больше не сможет честно называть iMessage мессенджером со «сквозным шифрованием». Apple и ее сторонники могут утверждать, что сканирование до или после того, как сообщение зашифровано или расшифровано, сохраняет обещание «сквозного шифрования», но это будет семантическим маневрированием, чтобы скрыть тектонический сдвиг в позиции компании по отношению к надежному шифрованию.
Как бы Apple это ни назвала, это больше не безопасный обмен сообщениями
Напомним, что безопасная система обмена сообщениями – это система, в которой никто, кроме пользователя и предполагаемых собеседников, не может читать сообщения или иным образом анализировать их содержимое, чтобы сделать о нем какие-либо выводы. Несмотря на прохождение через сервер, зашифрованные при помощи сквозного шифрования сообщения не позволяют серверу узнать их содержимое. Когда тот же сервер имеет канал связи для получения дополнительной информации о содержимом значительной части сообщений, это не сквозное шифрование. В этом случае, хоть Apple и не получает доступ непосредственно к передаваемым изображениям, компания создала сканирующий изображения классификатор, который будет предоставлять уведомления родителю. Таким образом, теперь Apple сможет добавлять новые обучающие данные в классификатор, находящийся на устройствах пользователей, или отправлять уведомления более широкой аудитории, легко осуществляя цензуру и препятствуя свободному общению.
Но даже без таких потенциальных последствий эта система уже сегодня даст возможность родителям, которые не заботятся об интересах своих детей, еще один способ следить за ними и контролировать их, ограничивая потенциал Интернета для расширения мира тех, чья жизнь в противном случае была бы ограниченной. И поскольку семейные учётные записи могут создаваться абьюзивными родителями, не будет большой натяжкой представить, что эта функция может использоваться в качестве еще одной формы сталкерского ПО.
Люди имеют право на приватную переписку без бэкдоров и цензуры, в том числе, когда эти люди являются несовершеннолетними. Apple должна принять правильное решение: держать эти бэкдоры подальше от устройств пользователей.
TELL APPLE: DON'T SCAN OUR PHONES
Read further on this topic:
