Apple внедрит алгоритмы для защиты детей от запрещенного контента

Apple объявила о расширении функций для защиты детей на всех своих операционных системах — iOS, iPadOS, macOS и watchOS. Компания начнёт размывать откровенные снимки в «Сообщениях», предупреждать родителей о получении и отправке сексуальных фотографий, сканировать контент в iCloud и добавит руководства для безопасности в Siri.

Компания пояснила, что хочет защитить детей от «хищников, которые используют средства коммуникации для привлечения и эксплуатации». Для этого Apple внедряет новые опции в трёх областях: «Сообщениях», iCloud, а также в Siri — возможности разработали совместно с экспертами по детской безопасности.

С выходом iOS и iPadOS 15, watchOS 8, macOS Monterey приложение «Сообщений» начнёт использовать машинное обучение на каждом конкретном устройстве для распознавания откровенного контента. Алгоритмы будут локально сканировать фотографии, но сама Apple не получит доступ к данным — всё будет происходить на устройствах.

В случае получения откровенного контента «Сообщения» автоматически размоют снимок, а также расскажут детям о том, что они могут не смотреть подобные фотографии. Дети также не смогут отправить сексуальные фото — их предупредят, а родителям сообщат, если снимок всё же отправят или посмотрят.

Новые iOS и iPadOS также начнут бороться с распространением контента с сексуальным насилием над детьми (Child Sexual Abuse Material, CSAM). Apple будет распознавать откровенные фотографии в iCloud и передавать данные властям. В США технология позволит компании отчитываться об опасных случаях в Национальный центр пропавших и эксплуатируемых детей (NCMEC). Организация будет работать сообща с местными властями в разных штатах.

Сканирование снимков в iCloud также будет происходить приватно: для этого Apple будет использовать машинное обучение на устройствах. Нейросети начнут сопоставлять изображения из облачных хранилищ с хешами изображений, предоставленных NCMEC и другими организациями по детской безопасности. В Apple утверждают, что эта база данных будет нечитаемым набором хешей, которые безопасно хранятся на устройствах.

Apple также будет применять технологию «разделения секрета», которая позволит обезопасить ваучеры безопасности от расшифровки на стороне сервера до тех пор, пока пользователь не пересёк правила безопасности. В компании утверждают, что это гарантирует высокий уровень точности — система будет выдавать меньше одного из триллиона ложных результатов за год.

Только в случае фиксации нарушений сразу двумя технологиями Apple сможет интерпретировать контент ваучеров безопасности и сравнить изображения самостоятельно. Затем компания обещает вручную изучать каждый случай, чтобы подтвердить соответствие, отключит аккаунт пользователя и сообщит о нём в NCMEC. Пользователи смогут оспорить жалобу, если считают её ошибочной.

Apple также начнёт лучше предупреждать и обучать юных пользователей систем и их родителей о том, как лучше вести себя в небезопасных ситуациях. Siri и «Поиск» вмешаются, когда пользователи попытаются найти связанные с CSAM данные — система объяснит, что это проблемные и болезненные темы и предложит почитать о них подробнее.

Siri также начнёт предлагать дополнительную информацию детям и родителям о том, как реагировать на эксплуатацию детей и сексуальное насилие. Например, если пользователи спросят голосового ассистента, как сообщить о CSAM, то их направят на соответствующие ресурсы.

В Apple обещают со временем расширять ресурсы для защиты детей. Новые функции станут доступны с выходом новых версий систем осенью 2021 года. Компания также предоставила дополнительную информацию о нововведениях в подробной документации, включая выжимку об использовании технологий, протоколы безопасности, и независимые технические консультации экспертов.

Vc.ru