Новое исследование показывает стремительный рост (на сотни процентов) в использовании фальшивых изображений, сгенерированных искусственным интеллектом. Речь идет о таких программах как Dall-E, Midjourney или Stable Diffusion. Фейковые фотографии активно используются в антизраильских сетевых кампаниях, а также в кампаниях, призывающих к бойкоту фирм и торговых сетей, выступивших в поддержку Израиля - Coca-Cola, McDonald's, Starbucks и других. Некоторые такие "кампейны" стали вирусными, их посмотрели миллионы пользователей. Исследование было проведено компанией Zefr, специализирующейся на мониторинге подстрекательского контента в социальных сетях.
Сотрудники Zefr использовали разработанный им инструмент искусственного интеллекта. Результаты исследования будут представлены на конференции IMVC-24 (Israel Machine Vision Conference), которая пройдет в апреле в выставочном комплексе EXPO в Тель-Авиве.
"После событий 7 октября мы обнаружили 20-кратный скачок объема фейковой информации о войне Израиля и ХАМАСа, - говорит Ор Леви, глава аналитического отдела компании Zefr. - Мы впервые наблюдаем столь значительное использование инструментов искусственного интеллекта в целях пропаганды. В соцсетях распространяется контент с миллионами просмотров с призывом к бойкоту популярных брендов, имеющих отношение к Израилю. Все это наносит ущерб нашей стране и мотивирует нас продолжать разработки". Zefr сотрудничает с различным организациями и компаниями в мире, занимающимися мониторингом и борьбой с распространением ложной информации.
С появлением в 2023 году генеративного искусственного интеллекта (GenAI) в сфере создания фейковых фотографий и видеоизображений произошла настоящая революция. По словам Леви, существует два типа злонамеренного использования этой технологии. Во-первых, фото- и видеоизображения не происходивших в реальности событий - фейковые кадры разрушений и жертв, которые большинство пользователей не в состоянии отличить от подлинных. Это делается, чтобы повлиять на международное общественное мнение. Во-вторых, фотографии, призванные нанести ущерб компаниям, поддерживающим Израиль.
В 2023 году Zefr разработала первый в своем роде инструмент ИИ, который способен с высокой степенью достоверности распознавать фальшивые изображения, созданные с помощью GenAI, - например, разошедшиеся по интернету "фотографии" арестованного полицией Дональда Трампа и римского папы в пальто испанского бренда Balenciaga. Речь идет о сложной технологической задаче, которую ранее не удавалось решить никому. С целью обучения ИИ идентификации фейковых снимков израильская компания использовала десятки тысяч настоящих и фальшивых фотографий в сочетании с семантическим поиском в соцсетях. Результат превзошел ожидания: разработанный инструмент смог идентифицировать фейки в 95% случаев. Человек на это не способен.
Леви объясняет, что фейковый контент в интернете делится на 12 категорий, включая террор, подстрекательство и фальшивые новости (fake news). Система Zefr анализирует фотографии и видео, определяя их в соответствии с данными категориями и уровнем риска. Информация о публикациях, нарушающих стандарты социальных платформ, доводится до их сведения с целью проверки и удаления.
По словам Леви, основное применение разработанной Zefr технологии - защита коммерческих учреждений и соцсетей от фейковых кампаний, включающих подстрекательство и конспирологические теории. "Пользователи, столкнувшиеся с подобным явлением, начинают с недоверием относиться к таким фирмам и платформам. Это наносит ущерб их репутации, - говорит он. - Мы помогаем им блокировать подобный контент".
- Когда речь идет о кампании, направленной против McDonald's, разве это не свобода слова?
- Возможно, для самой компании данный вопрос не столь однозначен. Для нас же здесь нет никаких сомнений. Клиент не хочет, чтобы на его платформе распространялся подобный контент. Мы распознаем подстрекательские публикации и блокируем их таким образом, чтобы там не фигурировала реклама компании.
Обычно системы распознавания фейковых изображений занимаются выявлением фальшивой информации о политиках и знаменитостях, незаконного и злонамеренного использования логотипа или коммерческих символов, а также нарушения авторских прав.
Ор Леви основал стартап Adverify, специализировавшийся на выявлении текстовых фейковых новостей. В 2022 году его фирма была приобретена компанией Zefr, которая занимается всеми видами фейкового контента в соцсетях. Ее клиенты - в основном рекламодатели и международные бренды.
Подробности на иврите читайте здесь
Перевод: Гай Франкович