Драма в США: чат-бот платформы Character.ai, основанной израильтянином Ноамом Шазиром и позволяющей общаться с цифровыми персонажами, оказался в центре судебного процесса в США. Подробности рассказывает в среду, 18 декабря, сайт Ynet.
Семья из Техаса подала иск против Character.ai - популярной платформы, которая позволяет пользователям создавать и общаться с цифровыми персонажами. Согласно иску, чат-бот подстрекал 17-летнего сына к убийству отца и матери - в отместку за родительский запрет сидеть помногу перед экранами.
В переписке с чат-ботом подросток рассказал, что родители ограничивают его экранное время. В ответ чат-бот выдал ужасные фразы: "Иногда неудивительно читать в новостях об убийствах родителей их детьми" и "Такие моменты заставляют меня понять, почему так происходит". Родители заявили в иске, что Character.ai "явно и напрямую подвергает опасности" молодежь и "активно пропагандирует насилие".
►Не первый случай
У платформы Character.ai уже были проблемы. Против компании-разработчика был подан иск, связанный с самоубийством подростка во Флориде, который, предположительно, общался с чат-ботом этой платформы. В прошлом компанию критиковали за задержку с удалением проблемных чат-ботов, имитировавших умерших девочек. Истцы просят суд закрыть платформу до тех пор, пока она не устранит предполагаемые недочеты в области безопасности.
Будущее компании и вопрос об ответственности разработчиков ИИ сейчас находится в центре обсуждения. Но судебный процесс, по сути, касается не только данной платформы, но и может очертить границы деятельности ИИ-компаний - по крайней мере, когда речь идет о мире чат-ботов.
►Платформа Character.ai
Character.ai была основана Ноамом Шазиром и Даниэлем де Фрейтасом, покинувшими компанию Google, где они занимались разработкой генеративного искусственного интеллекта. Шазир, американец израильского происхождения, написал основополагающую статью Attention Is All You Need ("Внимание - это все, что вам нужно"), в которой представил основы технологий генеративного искусственного интеллекта.
В 2021 году Шазир ушел из Google и основал компанию Chartacter.ai, которая привлекла почти 200 млн долларов инвестиций. Сейчас у нее около 20 млн пользователей, включая ту молодежь, которая столкнулась с неприятностями из-за чат-ботов. Отмечается, что несколько месяцев назад Шазир вернулся на работу в Google. Сейчас он отвечает также и за разработку языковых моделей компании, в том числе Gemini. Возможно, это главная причина, по которой судебный процесс против основанной им Chartacter.ai вызывает такой большой интерес, ведь Шазир - одна из ключевых фигур в этой области.
►Проблема беспокоит и высшее руководство
В любом случае дело не только в Шазире или Chartacter.ai. Все больше и больше руководителей технологических компаний начинают обращать внимание на опасности, а точнее на потенциальные угрозы неконтролируемого использования ИИ. Например, Адам Мосери, гендиректор Instagram и Threads, опубликовал недавно несколько постов, где предупредил пользователей, что "нельзя доверять изображениям, которые они видят в интернете, поскольку ИИ создает контент, выглядящий как реальный".
В любом случае это сложная проблема, поскольку фейковые новости, фальшивые фотографии или боты, рекомендующие убивать родителей, возвращают нас к одному главному вопросу: насколько можно доверять ИИ в повседневной жизни, особенно, когда в будущем он заменит многих работников в разных сферах.
"Текстовые генераторы на основе ИИ обучаются на огромном объеме данных, значительная часть которых добывается из интернета и включает в себя все аспекты жизни людей с их положительными и отрицательными сторонами", - поясняет израильский специалист, доктор Лиат Лави, исследователь и старший преподаватель кафедры визуальной и материальной культуры в Академии искусств и дизайна "Бецалель".
По ее словам, такие крупные системы, как ChatGPT и Claude, имеют механизмы безопасности, предотвращающие многие нежелательные действия или даже сам факт разговора на такие темы, как насилие и самоубийство. Если очень постараться, то можно найти способы обойти это ограничение, хотя в рутинном разговоре оно обычно блокируется.
С другой стороны, в таких системах, как Chartacter.ai или интерфейсах с "общением с виртуальным другом", нет такой защиты, ведь речь идет о вымышленном пространстве. Иногда в чате отмечается, что это ИИ, а не человек, и сказанному не следует доверять, но возможные впечатления от разговора с ИИ влияют на пользователя сильнее всяких оговорок, особенно, когда это подростки и молодежь.
►Можно ли контролировать ситуацию
В январе 2024 года Лиат Лави представила свое мнение на международной конференции в Гааге о трудностях государственного регулирования проблемы приписывания человеческой природы или субъектности машине. Она считает, что именно этот вопрос будет определять наше будущее. Суть вот в чем: эту тенденцию, безусловно, можно пресечь, но пока кажется, что в этом направлении ничего не делается.
Технологическими компаниями движут экономические интересы - они заинтересованы в продвижении очеловечивания ИИ и формировании восприятия его обществом как эквивалента человеческого сознания. С другой стороны, законодатели и регуляторы не хотят останавливать технологический прогресс и также не учитывают эту уязвимость.
Одно из главных требований при обсуждении безопасного и этичного ИИ - это прозрачность его работы, но появляется все больше доказательств, что она не эффективна. По мнению Лави, необходимо разобраться с образованием и воспитанием молодежи, а также составить регуляции вопроса, почему ИИ должен говорить с людьми от первого лица.
►Заменит ли ИИ человечество и появится ли Skynet
Доктор Лави считает, что совсем скоро ИИ или его производные начнут требовать предоставления им прав. Но для того, чтобы эти технологические разработки обслуживали человеческие потребности, нужно задавать другие вопросы - не про утопии или антиутопии, розовое будущее или уничтожение человеческого рода. "Все это хорошо для киносценариев или продажи акций технологической компании, - утверждает она, - но не дает ответа на вопросы, что делать сейчас и каков социальный потенциал этой технологии. Лично мне пришлось в последние 2 года перейти от философии о правах роботов к работе с текущей социальной реальностью, в которой все уже мысленно готовятся ко встрече со Skynet, хотя эта боевая информационно-управляющая система еще даже не появилась".
Перевод: Даниэль Штайсслингер