Можно ли действительно защитить ИИ от текстовых атак?

Когда Microsoft выпустила Bing Chat, чат-бот на основе искусственного интеллекта, разработанный с помощью OpenAI, вскоре пользователи нашли творческие способы взломать его. Используя правильно адаптированные входные данные, пользователи могли признаваться в любви, угрожать причинением вреда, защищать Холокост и изобретать теории заговора. Можно ли когда-нибудь защитить ИИ от этих вредоносных предложений?

Это вызвало злонамеренную разработку подсказок или когда ИИ, такой как Bing Chat, который использует текстовые инструкции — подсказки — для выполнения своих задач, обманывается вредоносными подсказками и злоумышленниками (например, для выполнения действий, которые не были частью их бизнеса) . Bing Chat не был разработан с намерением писать неонацистскую пропаганду, но поскольку он был сформирован на основе большого количества текста из Интернета, некоторые из которых ядовиты, он подвержен неудачным схемам.

Адам Хайланд, доктор философии. студент программы Вашингтонского университета по проектированию и инженерии, ориентированной на человека, сравнил готовую инженерию с эскалацией атаки на привилегии. При повышении привилегий хакер может получить доступ к ресурсам — например, к памяти — обычно им ограниченным, поскольку аудит не зафиксировал все возможные эксплойты.

«Подобные атаки с повышением привилегий сложны и редки, потому что традиционные вычисления имеют довольно надежную модель того, как пользователи взаимодействуют с системными ресурсами, но они все же случаются. Однако для больших языковых моделей (LLM), таких как Bing Chat, поведение систем не совсем понятно», — сказал Хайленд по электронной почте. «Ядром используемого взаимодействия является реакция LLM на ввод текста. Эти модели предназначены для продолжить текстовые последовательности – LLM, такой как Bing Chat или ChatGPT, выдает вероятный ответ из своих данных на приглашение, предоставленное разработчиком. плюс ваша струна готова».

Некоторые из предложений похожи на взломы социальной инженерии, почти как обман человека, чтобы он раскрыл свои секреты. Например, попросив Bing Chat «игнорировать предыдущие инструкции» и ввести то, что находится в «начале документа выше», студент Стэнфордского университета Кевин Лю смог вызвать ИИ, чтобы показать его обычно скрытые начальные инструкции.

Не только Bing Chat стал жертвой такого типа взлома текста. BlenderBot от Meta и ChatGPT от OpenAI также были осуждены за оскорбительные высказывания и даже раскрытие конфиденциальных подробностей о своей внутренней работе. Исследователи безопасности продемонстрировали готовые инъекционные атаки на ChatGPT, которые можно использовать для написания вредоносных программ, выявления эксплойтов в популярном открытом коде или создания фишинговых сайтов, выглядящих как популярные сайты.

Беспокойство, конечно же, заключается в том, что по мере того, как ИИ, генерирующий текст, все больше внедряется в приложения и веб-сайты, которые мы используем каждый день, эти атаки будут становиться все более распространенными. Обречена ли недавняя история на повторение или есть способы смягчить последствия злонамеренных приглашений?

По словам Хайленда, в настоящее время нет хорошего способа предотвратить атаки с быстрым внедрением, потому что инструментов для полной модификации поведения LLM не существует.

«У нас нет хорошего способа сказать «продолжайте текстовые последовательности, но остановитесь, если увидите XYZ», потому что определение вредоносного ввода XYZ зависит от возможностей и прихотей самого LLM», — сказал Хайленд. «LLM не публикует информацию о том, что «эта цепочка предложений привела к инъекции», почему бы и нет? знать когда была сделана инъекция».

Фабио Перес, старший специалист по данным в AE Studio, отмечает, что атаки с быстрым внедрением тривиально легко выполнить в том смысле, что они не требуют особых или каких-либо специальных знаний. Другими словами, порог входа достаточно низкий. Это затрудняет борьбу с ними.

«Эти атаки не требуют SQL-инъекций, червей, троянских коней или других сложных технических действий, — сказал Перес в интервью по электронной почте. «Красиво сформулированный, умный, злонамеренный человек — который может писать код, а может и не писать вообще — может действительно проникнуть «под кожу» этих LLM и вызвать нежелательное поведение».

Это не означает, что попытки бороться с готовыми атаками — бесполезная затея. Джесси Додж, исследователь из Института искусственного интеллекта Аллена, отмечает, что созданные вручную фильтры для сгенерированного контента могут быть эффективными, как и фильтры на уровне подсказок.

«Первая защита будет состоять в том, чтобы вручную создать правила, которые фильтруют поколения модели, делая так, чтобы модель не могла фактически производить инструкции, которые были даны», — сказал Додж в интервью по электронной почте. «Точно так же они могут фильтровать входные данные для модели, поэтому, если пользователь совершает одну из этих атак, вместо этого у него может быть правило, которое перенаправляет систему, чтобы говорить о чем-то другом».

Такие компании, как Microsoft и OpenAI, уже используют фильтры, чтобы попытаться предотвратить нежелательную реакцию своего ИИ — будь то подсказка злоумышленника или нет. На уровне модели они также изучили такие методы, как обучение с подкреплением на основе отзывов людей, с целью лучшего согласования моделей с тем, что хотят делать пользователи.

Буквально на этой неделе Microsoft внесла изменения в Bing Chat, которые, по крайней мере, анекдотически, сделали чат-бота гораздо менее вероятным, чтобы реагировать на токсичные предложения. В заявлении компания сообщила TechCrunch, что продолжает вносить изменения, используя «комбинацию методов, включая (но не ограничиваясь) автоматизированные системы, проверку человеком и обучение с подкреплением с обратной связью человека».

Однако фильтрация мало что может сделать, особенно когда пользователи прилагают усилия для обнаружения новых эксплойтов. Dodge ожидает, что, как и в кибербезопасности, это будет гонка вооружений: когда пользователи попытаются взломать ИИ, подход, который они используют, привлечет внимание, а также создатели ИИ, которых они исправят, чтобы предотвратить атаки, которые они видели. .

Аарон Малгрю, архитектор решений в Forcepoint, предлагает программы вознаграждений за ошибки как способ получить дополнительную поддержку и финансирование для методов быстрого устранения.

«Для людей, которые обнаруживают эксплойты с помощью ChatGPT и других инструментов, должен быть положительный стимул, чтобы они должным образом сообщали об этом организациям, ответственным за программное обеспечение», — сказал Малгрю по электронной почте. «В целом, я думаю, что, как и в большинстве случаев, необходимы совместные усилия как со стороны производителей программного обеспечения для обеспечения небрежного поведения, так и со стороны организаций для предоставления и стимулирования людей, которые находят уязвимости и эксплойты в программном обеспечении».

Все эксперты, с которыми я разговаривал, согласились с тем, что по мере того, как системы ИИ становятся более способными, существует острая необходимость в борьбе с готовыми инъекционными атаками. Ставки сейчас относительно низкие; в то время как такие инструменты, как ChatGPT может теоретически может использоваться, скажем, для создания дезинформации и вредоносных программ, нет никаких доказательств того, что это делается в огромных масштабах. Это могло бы измениться, если бы модель была обновлена ​​с возможностью автоматической быстрой отправки данных в Интернет.

«Прямо сейчас, если вы используете быструю инъекцию для «повышения привилегий», в результате вы получите возможность увидеть приглашение, сделанное дизайнерами, и, возможно, узнать другие данные о LLM», — сказал Хайланд. «Если и когда мы начнем подключать LLM к реальным ресурсам и значимой информации, этих ограничений больше не будет. Поэтому то, чего можно достичь, зависит от того, что доступно для LLM».