App Store и Google Play пропустили сотни приложений с deepfake

Масштабное расследование выявило более 400 мобильных приложений с искусственным интеллектом, которые содержат скрытые функции для генерации опасного контента. Программы успешно прошли проверку безопасности в официальных магазинах Apple App Store и Google Play Store, оставаясь доступными для пользователей.

• Обнаружено более 400 связанных приложений и доменов, созданных единой структурой из Китая.
• Программы маскировались под безобидные сервисы вроде языковых курсов или фитнес-тренеров.
• Скрытый функционал активировался через внешние триггеры, включая рекламу в соцсетях Meta.
• Приложения позволяли создавать компрометирующие изображения и сцены насилия на основе загруженных фото.

Как работала схема обхода модерации в App Store и Google Play

Исследование издания Wired показало, что разработчики использовали классическую тактику подмены содержимого после прохождения проверки (bait-and-switch). На момент модерации приложения выглядели совершенно безобидно — например, утилита Viefur позиционировалась как инструмент для добавления одежды на фотографии домашних животных. Однако после одобрения алгоритмами магазинов серверная часть приложений начинала загружать скрытый веб-интерфейс.

Внутри скрытой платформы пользователи могли загружать фотографии реальных людей и генерировать откровенный контент или сцены насилия. В арсенале сети имелись шаблоны с тревожными названиями, включая сцены угроз с холодным оружием. При этом продвижение таких функций велось открыто через тысячи рекламных объявлений в Facebook и Instagram, которые также сумели обмануть системы модерации Meta.

Ответ платформенных гигантов и масштабы угрозы

Представители технологических гигантов заявили, что программы полностью соответствовали правилам на момент их первоначального одобрения. По словам компаний, разработчики позже изменили внешние веб-ресурсы, с которых приложения подгружают данные, заменив безопасный контент порнографическими материалами. Тем не менее, инцидент обнажил серьезные уязвимости в системах автоматической проверки мобильного софта.

Компания Meta уже отчиталась о принятии мер против более чем 10 000 рекламных аккаунтов, связанных с данной сетью доменов. Ситуация поднимает важные вопросы о безопасности пользовательских данных и необходимости более глубокого контроля за динамически обновляемыми приложениями, которые способны менять свое поведение после попадания в официальные каталоги.