Алгоритм Google помогает находить детей, подвергающихся сексуальному насилию. Но иногда он ошибается — и блокирует аккаунты родителей, которые просто отправили фото ребенка врачу

В 2021 году технологические компании обнаружили более 45 миллионов фотографий и видеозаписей, содержащих признаки сексуального насилия над детьми — в два раза больше, чем годом ранее. Google отправил в 2021 году более 600 тысяч отчетов в американский Национальный центр пропавших без вести и эксплуатируемых детей (NCMEC) и отчитался о блокировке около 270 тысяч аккаунтов за распространение материалов, связанных с жестоким обращением с детьми. Но далеко не все обнаруженные материалы были связаны с нарушением прав несовершеннолетних — часто разбирательства начинались в отношении родителей, которые фотографировали своих детей без какого-либо злого умысла. The New York Times рассказала о работе алгоритма, направленного на выявление запрещенного контента.

Борьба технологических компаний с распространением запрещенных материалов, в частности, связанных с жестоким обращением с детьми, началась более 10 лет назад. Первым эффективным инструментом в этом деле стала разработанная Microsoft технология PhotoDNA — база данных, которая преобразовала обнаруженный запрещенный контент в уникальные цифровые коды, что позволило проверять большие объемы фотографий с целью выявить среди них запрещенные.

Следующий значительный шаг сделала компания Google, которая в 2018 году разработала технологию искусственного интеллекта, способную выявлять запрещенный контент, еще не попавший в базу данных.

Технология работает примерно следующим образом: алгоритм проводит сканирование всех доступных материалов, включая данные пользователей во время их резервного копирования в облачные сервисы Google. На весь подозрительный контент алгоритм ставит маркер, который впоследствии должен проверить модератор компании. Если данные признают соответствующими определению материалов о сексуальном насилии над детьми, то Google блокирует учетную запись пользователя, проводит проверку на наличие других запрещенных материалов, после чего отправляет отчет в CyberTipline, национальную систему приема сообщений об эксплуатации детей в интернете.

После того, как отчет попадает в CyberTipline, к процессу подключаются сотрудники Национального центра пропавших без вести и эксплуатируемых детей (NCMEC). Если контент признают противоправным, то данные передают в правоохранительные органы.

NYT пишет, что в 2021 году в CyberTipline поступило почти 30 миллионов отчетов — около 80 тысяч в день. При этом руководитель CyberTipline Фэллон Макналти пояснил изданию, что большинство отчетов поступает по поводу изображений, о которых организации уже известно, поэтому небольшой штат из 40 аналитиков сосредоточен на выявлении материалов, которые не встречались ранее. Так, в 2021 году было обнаружено около 17 миллионов уникальных изображений и более пяти миллионов видеозаписей. На основании этих данных организация предупредила правоохранительные органы о 4260 потенциальных жертвах насилия среди детей. 

В то же время, пишет NYT, некоторую долю этой статистики составляют родители, которые могли фотографировать своих детей без злого умысла. Издание рассказало о двух таких случаях.

В феврале 2021 года житель Сан-Франциско по имени Марк заметил, что гениталии его сына опухли и причиняли ребенку дискомфорт. Его жена позвонила в больницу и договорилась об экстренной консультации на следующее утро по видеосвязи (консультация должна была пройти в выходной день и во время пандемии). Медсестра попросила родителей прислать фотографии, чтобы врач мог их изучить заранее. Родители выполнили эту просьбу и отослали несколько снимков паховой зоны ребенка. С их помощью врач поставил диагноз и прописал антибиотики, которые быстро помогли сыну Марка.

Хотя фотографии были сделаны в медицинских целях, аккаунт Марка попал под действие алгоритма из-за того, что у него была настроена синхронизация изображений с облаком. Через два дня Марку пришло уведомление, что его аккаунт заблокирован из-за «вредоносного контента», который является «серьезным нарушением политики Google». Марк сначала растерялся, но потом вспомнил про болезнь своего сына. «О Боже, Google, наверное, думает, что это детское порно», — предположил он. Позже Марк заполнил форму с просьбой пересмотреть решение Google, но компания отказала в восстановлении аккаунта и передала информацию полиции Сан-Франциско. Из-за того, что телефон Марка также оказался заблокирован, о расследовании он узнал только в декабре, когда ему пришло письмо из полицейского управления Сан-Франциско.

Связавшись со следователем, Марк узнал, что дело было закрыто. Полицейские, изучив всю информацию, предоставленную Google, пришли к выводу, что никакого преступления не было. Тогда Марк снова подал апелляцию в Google, предоставив полицейский отчет, чтобы восстановить свой аккаунт, но компания и в этот раз отказала. В результате он потерял семейный фотоархив, календарь, контакты, важные электронные письма, а также доступ к большому количеству интернет-сервисов, так как номер его телефона, предоставляемый Google Fi, также оказался заблокирован.

Профессор права в университете Северной Каролины Карисса Хессик объяснила логику компании тем, что с точки зрения Google проще ограничить доступ таких людей к своим сервисам, чем отвечать на более сложные вопросы вроде «что уместно фотографировать, а что нет?»

В 2021 году с похожей ситуацией столкнулся американец по имени Кассио, житель штата Техас. У его сына также развилась инфекция, а врач попросил прислать фотографии. Вскоре аккаунт Кассио оказался заблокирован, против него начали полицейское расследование. NYT пишет, что у Кассио тоже была настроена синхронизация фотографий с облаком, а также он пользовался мессенджером Google Hangouts. После визита в полицейский участок Кассио удалось доказать, что произошедшее — лишь недоразумение. Тем не менее, из-за этого инцидента чуть не сорвалась сделка по покупке дома, так как он подписывал многочисленные документы цифровой подписью, которая была привязана к аккаунту.

Хотя эксперты единогласны во мнении, что алгоритм Google выполняет важную функцию, некоторые специалисты высказывают опасения по поводу его работы.

Джон Каллас, технолог из правозащитной организации Electronic Frontier Foundation, предположил, что таких инцидентов могут быть «десятки, сотни, тысячи», но из-за характера обвинений большинство людей, столкнувшихся с алгоритмом, не предают эти истории огласке. Каллас отметил, что в семейных фотоархивах любого человека могут быть материалы, которые могут стать источником проблем, поэтому он считает, что семейные фотоальбомы на личном устройстве должны быть приватными.

Немного иного мнения, как пишет NYT, придерживается Кейт Клоник, профессор права в университете Святого Иоанна. Она считает, что ошибки алгоритма неизбежны, так как проверке подвергаются миллиарды фотографий и, говорит Клоник, большинство людей посчитают это небольшой ценой за возможность находить детей, которым нужна помощь. Но профессор отмечает, что компании должны разработать действенный способ помощи людям, которые оказались помечены алгоритмом по ошибке.