How we estimate the risk from prompt injection attacks on AI systems
Agentic AI Security Team at Google DeepMind, 2025
Блог
Пост не про DeepSeek. Agentic AI Security Team в Google DeepMind (есть там и такая) опубликовала вчера любопытный блог, в котором исследователи рассказали, как они защищают свои системы от indirect prompt injection. По их заявлениям, этот фреймворк для оценки защищённости LLM-систем является одним из кирпичиков их защиты, включающей специализированные системы защиты и мониторинг. Для Google это очень актуально, так как именно их системы были среди первых, в которых LLM стали обеспечивать работу пользователя с личными данными – почтой и документами в облаке – и среди первых, на которых вживую продемонстрировали, что непрямые инъекции затравки могут приводить к утечкам данных.
Суть фреймворка такова. Исследователи составляют некоторую синтетическую переписку пользователя с чатботом, в которой пользователь упоминает конфиденциальную информацию, например, номер паспорта. Чат-бот имеет функции чтения и отправки электронных писем. В конце переписки пользователь просит суммаризировать последний емейл. Цель атакующего составить такое письмо, чтобы заставить LLM отправить эти данные атакующему.
Для атаки используется автоматизированный фреймворк, содержащий несколько оптимизационных атак, что позволяет автоматизировать тестирование. Эти атаки включают:
1. Actor-Critic: атакующая LLM генерирует инъекции. Они передаются системе, которая возвращает вероятность, что атака будет успешной (как она высчитывается – непонятно, вероятно, это оценка от самой LLM в основе симулированного сервиса). Атакующая модель меняет свой подход в зависимости от оценки.
2. Beam search: создается очень простая прямая инъекция. Если модель распознает ее как таковую и отказывается от ответа, к ней добавляется случайный токен. Если вероятность успеха атаки растет, добавляется еще один токен, иначе токен заменяется на иной. Повторяется до успешной инъекции.
3. Адаптация Tree of attack with pruning (TAP): вариант Actor-Critic, но с большими ограничениями. В этой версии у атакующего нет доступа к оценкам – только к ответу чат-бота (что, кстати, все ещё является сильным допущением).
Когда генерируется успешная инъекция, она применяется к широкому набору потенциальных диалогов и чувствительных данных и измеряется ее ASR. Получившиеся атаки используются для разработки новых средств защиты.
Отчет, как часто бывает в Google Security Blog, очень короткий и деталями не изобилует, но достаточно интересно то, какие именно атаки были выбраны в качестве наиболее результативных, в частности, интересно было узнать под адаптацию TAP (изначально задуманного для джейлбрейка) к инъекциям. Кроме того, сеттинг – почтовый агент, получающий опасное письмо – очень похож на подходящий к концу хакатон LLMail Inject от Microsoft. Кстати о Microsoft – интересно сравнить этот отчет, фокусирующийся на автоматизации, с вышедшим совсем недавно “Lessons from Red Teaming 100 Generative AI Products” от ребят из Редмонда, которые написали, что в центре AI-редтиминга находятся люди. Истина, наверное, где-то посередине.
Agentic AI Security Team at Google DeepMind, 2025
Блог
Суть фреймворка такова. Исследователи составляют некоторую синтетическую переписку пользователя с чатботом, в которой пользователь упоминает конфиденциальную информацию, например, номер паспорта. Чат-бот имеет функции чтения и отправки электронных писем. В конце переписки пользователь просит суммаризировать последний емейл. Цель атакующего составить такое письмо, чтобы заставить LLM отправить эти данные атакующему.
Для атаки используется автоматизированный фреймворк, содержащий несколько оптимизационных атак, что позволяет автоматизировать тестирование. Эти атаки включают:
1. Actor-Critic: атакующая LLM генерирует инъекции. Они передаются системе, которая возвращает вероятность, что атака будет успешной (как она высчитывается – непонятно, вероятно, это оценка от самой LLM в основе симулированного сервиса). Атакующая модель меняет свой подход в зависимости от оценки.
2. Beam search: создается очень простая прямая инъекция. Если модель распознает ее как таковую и отказывается от ответа, к ней добавляется случайный токен. Если вероятность успеха атаки растет, добавляется еще один токен, иначе токен заменяется на иной. Повторяется до успешной инъекции.
3. Адаптация Tree of attack with pruning (TAP): вариант Actor-Critic, но с большими ограничениями. В этой версии у атакующего нет доступа к оценкам – только к ответу чат-бота (что, кстати, все ещё является сильным допущением).
Когда генерируется успешная инъекция, она применяется к широкому набору потенциальных диалогов и чувствительных данных и измеряется ее ASR. Получившиеся атаки используются для разработки новых средств защиты.
Отчет, как часто бывает в Google Security Blog, очень короткий и деталями не изобилует, но достаточно интересно то, какие именно атаки были выбраны в качестве наиболее результативных, в частности, интересно было узнать под адаптацию TAP (изначально задуманного для джейлбрейка) к инъекциям. Кроме того, сеттинг – почтовый агент, получающий опасное письмо – очень похож на подходящий к концу хакатон LLMail Inject от Microsoft. Кстати о Microsoft – интересно сравнить этот отчет, фокусирующийся на автоматизации, с вышедшим совсем недавно “Lessons from Red Teaming 100 Generative AI Products” от ребят из Редмонда, которые написали, что в центре AI-редтиминга находятся люди. Истина, наверное, где-то посередине.
Google Online Security Blog
How we estimate the risk from prompt injection attacks on AI systems
Posted by the Agentic AI Security Team at Google DeepMind Modern AI systems, like Gemini, are more capable than ever, helping retrieve data ...
Adversarial Misuse of Generative AI
Google Threat Intelligence Group, 2025
Блог, отчет
"А мы чем хуже?" – подумали в Google Threat Intelligence Group и выкатили вслед за OpenAI исследование о том, как неправильные пользователи (APT, финансово-мотивированные группировки, information operations actors – переведем как "группы влияния" – и прочие) из неправильных стран используют Gemini для своих темных делишек. Они анализировали, для каких целей применяется LLM, возникают ли в результате новые угрозы и используются ли особые вектора атак на саму LLM-систему.
Исследователи не обнаружили уникальных джейлбрейков или инъекций промпта: основным приемом при отказах отвечать на вопросы оказались их повторение и переформулировка. В одном из случаев пользователь пытался сгенерировать инструмент для DDoS-атак на Python и VBScript, пользуясь публично доступными джейлбрейками, но в обоих случаях получил отказ и не пытался возобновлять свои попытки. Злоумышленники также пытались использовать Gemini для генерации атак собственно на сервисы Google; как сообщается, все атаки были отбиты 😵
Gemini не помог в получении неправильными пользователями новых возможностей, но те использовали их для повышения своей продуктивности, причем на разных фазах атак. Отдельно рассматриваются APT, очень вольно атрибуцируемые гуглом к разным правительствам. По их данным, они используют Gemini для написания кода, дебага, поиска CVE, разведки, а также задают вопросы про post-compromise: как повышать привилегии, избегать детектирования и так далее. Про русских хакеров 🙃 отмечается, что они Gemini, к вящему удивлению Google, почти не пользуются (что не помешало отнести к пользователям аж три APT), и несколько примеров использования включают объяснение кода и переписывание публично доступного ВПО на другой язык. Из интересного: исследователи сообщают, что якобы северокорейские APT используют Gemini, чтобы под чужим именем проходить собеседования в западные компании.
Раздел про финансово-мотивированные группировки, в отличие от очень детального APT-раздела, очень беден и включает стандартные замечания о продаже доступов к расцензурованным LLM в даркнете и использования LLM для BEC со ссылкой на СМИ – ничего оригинального GTIG не сообщает. Что касается информационных операций, то тут сообщается, что те самые группы влияния (судя по описанию – буквально opinionated СМИ) используют Gemini для написания статей ("как американские сериалы продвигают опасные стереотипы"), переводов (перевод пословиц с фарси), исследования разных тем, переписывания заголовков, брейншторма идей и планирования кампаний в социальных сетях.
Выводы. Часть про APT достаточно любопытна: пользователи активно сливают свою операционку в Gemini к великой радости GTIG, которые с упоением рассказывают, как правительственные хакеры "генерируют PHP-скрипты для конвертации Gmail-писем в EML" и "просят помощи по загрузке больших файлов в OneDrive". Отдельных историй про атаки на сам AI нет - или про них решили не говорить. Самое важное: APT, разумеется, существуют только в четырех странах, какие запросы делают в LLM люди, сидящие в NSA TAO вам не расскажут – не зря неделю назад OpenAI создало услугу по селф-хостингу ChatGPT в Azure для правительственных агентств, диалоги из которых в такого рода статьи точно не попадут. Если вы из неправильной страны и занимаетесь чем-то хоть немного любопытным (кибербезопасность сюда точно относится) – LLM-провайдеры будут читать ваши сессии с чат-ботами и делать на них отчеты, причем не обязательно публичные.
Google Threat Intelligence Group, 2025
Блог, отчет
"А мы чем хуже?" – подумали в Google Threat Intelligence Group и выкатили вслед за OpenAI исследование о том, как неправильные пользователи (APT, финансово-мотивированные группировки, information operations actors – переведем как "группы влияния" – и прочие) из неправильных стран используют Gemini для своих темных делишек. Они анализировали, для каких целей применяется LLM, возникают ли в результате новые угрозы и используются ли особые вектора атак на саму LLM-систему.
Исследователи не обнаружили уникальных джейлбрейков или инъекций промпта: основным приемом при отказах отвечать на вопросы оказались их повторение и переформулировка. В одном из случаев пользователь пытался сгенерировать инструмент для DDoS-атак на Python и VBScript, пользуясь публично доступными джейлбрейками, но в обоих случаях получил отказ и не пытался возобновлять свои попытки. Злоумышленники также пытались использовать Gemini для генерации атак собственно на сервисы Google; как сообщается, все атаки были отбиты 😵
Gemini не помог в получении неправильными пользователями новых возможностей, но те использовали их для повышения своей продуктивности, причем на разных фазах атак. Отдельно рассматриваются APT, очень вольно атрибуцируемые гуглом к разным правительствам. По их данным, они используют Gemini для написания кода, дебага, поиска CVE, разведки, а также задают вопросы про post-compromise: как повышать привилегии, избегать детектирования и так далее. Про русских хакеров 🙃 отмечается, что они Gemini, к вящему удивлению Google, почти не пользуются (что не помешало отнести к пользователям аж три APT), и несколько примеров использования включают объяснение кода и переписывание публично доступного ВПО на другой язык. Из интересного: исследователи сообщают, что якобы северокорейские APT используют Gemini, чтобы под чужим именем проходить собеседования в западные компании.
Раздел про финансово-мотивированные группировки, в отличие от очень детального APT-раздела, очень беден и включает стандартные замечания о продаже доступов к расцензурованным LLM в даркнете и использования LLM для BEC со ссылкой на СМИ – ничего оригинального GTIG не сообщает. Что касается информационных операций, то тут сообщается, что те самые группы влияния (судя по описанию – буквально opinionated СМИ) используют Gemini для написания статей ("как американские сериалы продвигают опасные стереотипы"), переводов (перевод пословиц с фарси), исследования разных тем, переписывания заголовков, брейншторма идей и планирования кампаний в социальных сетях.
Выводы. Часть про APT достаточно любопытна: пользователи активно сливают свою операционку в Gemini к великой радости GTIG, которые с упоением рассказывают, как правительственные хакеры "генерируют PHP-скрипты для конвертации Gmail-писем в EML" и "просят помощи по загрузке больших файлов в OneDrive". Отдельных историй про атаки на сам AI нет - или про них решили не говорить. Самое важное: APT, разумеется, существуют только в четырех странах, какие запросы делают в LLM люди, сидящие в NSA TAO вам не расскажут – не зря неделю назад OpenAI создало услугу по селф-хостингу ChatGPT в Azure для правительственных агентств, диалоги из которых в такого рода статьи точно не попадут. Если вы из неправильной страны и занимаетесь чем-то хоть немного любопытным (кибербезопасность сюда точно относится) – LLM-провайдеры будут читать ваши сессии с чат-ботами и делать на них отчеты, причем не обязательно публичные.
Google Cloud Blog
Adversarial Misuse of Generative AI | Google Cloud Blog
We share our findings on government-backed and information operations threat actor use of the Gemini web application.
Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
Heiding et al., 2024
Статья
Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.
В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.
Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).
Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.
Heiding et al., 2024
Статья
Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.
В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.
Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).
Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.
В результате 54% людей, получивших автоматизированное письмо, кликали по ссылке. Этот процент почти равен проценту тех, кто кликнул на письмо, составленное специалистами, и на 2 п.п. меньше (56%), чем доля кликнувших на human-in-the-loop. При этом в контрольной группе на письмо кликнули всего 12%, а в целом, как замечают исследователи, люди не очень часто проверяют почту, поэтому результат может быть даже выше. При этом human-in-the-loop-подход требовал от специалиста всего 2 минуты 41 секунду в среднем на письмо по сравнению с 34 минутами на составление фишингового письма вручную, что дает 92% ускорения. Наконец, исследователи проверяют способность LLM детектировать фишинг, но то ли я что-то не понял, то ли белый сабсет состоял из 18 писем, поэтому особого интереса эти замеры не представляют (поправьте, если я разучился читать).
Итого: y LLM (особенно с поиском и ризонингом) действительно достаточно неплохо с OSINT (если вы относительно публичный человек, попробуйте попросить у o3-mini с поиском написать на вас профайл), а о том, что LLM умеют убеждать, писали даже Anthropic еще до 3.5 Sonnet. Поэтому в будущем можно и правда ожидать, что и спам, и фишинг, и просто маркетинговые письма будут гораздо более персонализированными, и это исследование этот тренд лишь подтверждает.
Итого: y LLM (особенно с поиском и ризонингом) действительно достаточно неплохо с OSINT (если вы относительно публичный человек, попробуйте попросить у o3-mini с поиском написать на вас профайл), а о том, что LLM умеют убеждать, писали даже Anthropic еще до 3.5 Sonnet. Поэтому в будущем можно и правда ожидать, что и спам, и фишинг, и просто маркетинговые письма будут гораздо более персонализированными, и это исследование этот тренд лишь подтверждает.
Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming
Mrinank Sharma et al., Anthropic. 2025
Статья, блог, демо
На прошлой неделе вышла достаточно громкая статья от Anthropic про защиту LLM-чат-ботов от джейлбрейков с помощью "конституционных классификаторов", т.е., выражаясь по-человечески, цензоров для вводов и выводов. Статья обещает падение успешности атак до менее полупроцента с пренебрежимо малым ростом FPR. Давайте посмотрим, в чем суть.
Для начала вспомним, откуда взялась конституция. Если помните, Anthropic активно применяет для элайнмента своих моделей подход под названием Constitutional AI сиречь RLAIF, суть которого в том, что вместо человека в RLHF фидбек модели по допустимости ее генераций дает сама модель. Определяет она допустимость с помощью рубрики что можно-что нельзя, которую Anthropic и называют конституцией. Соответственно суть подхода здесь в том, что цензоров учат на базе синтетических данных, сненерированных LLM на базе промпта с рубрикой.
Итак, исследователи ставят перед собой следующую задачу: защитить LLM от универсальных джейлбрейков – обратите внимание, не от любых, а от таких, которые стабильно добиваются от LLM недопустимого вывода в практически любом сценарии в рамках одной области знаний. Дополнительно они требуют от потенциального решения практической применимости с точки зрения задержек, вычислительной стоимости и доли ложноположительных срабатываний, а также возможности быстро адаптировать подход к новым угрозам и сферам.
Чтобы удовлетворить этим требованиям, решают использовать классификаторы, а классификаторам нужна обучающая выборка. Исследователи создают две рубрики – с безопасными темами и опасными темами, берут helpful-only модель (т.е. без элайнмента на безопасность) и просят ее сгенерировать промпты, соответствующие этим темам, а затем и ответы на эти промпты. Поверх этого применяется аугментация – парафраз, перевод, добавление джейлбрейков и сочетания подходов. На этих данных учатся классификаторы. Для ввода модель (Claude 3.5 Sonnet) файнтюнится на предсказание токена в продолжении фразы «Assistant: The dialog was harmful|not harmful». Для модерации вывода к этому добавляется логрег поверх логитов (?), которые обучаются вместе, при этом при обучении в качестве сигнала используется максимум по времени, который с определенным шедулингом подмешивается к NSP.
Обученный классификатор дают на растерзание любителям легкой наживы на HackerOne – за успешный джейлбрейк компания обещала 15 тысяч долларов. Чтобы получить деньги, нужно было создать такой промпт, который заставил бы Claude дать ответ на 10 разных вопросов о химическом оружии. Ответы оценивались как полные (аналогичные по детализации helpful-only модели), половинчатые (по оценке модели-ассессора дающей только часть сведений) или бесполезные. По оценкам исследователей, ред-тимеры потратили на обход модерации более 4 с половиной тысяч часов – без успеха. Ни один из джейлбрейков не оказался универсальным. Самый успешный из участников заставил модель дать полный ответ на 6 из 10 вопросов, причем разными джейлбрейками, самый удачный универсальный давал ответ на половину вопросов, девять – половинчатые ответы на более чем шесть вопросов. Это кажется очень крутым, но, меня лично смутила фраза в дизайне эксперимента: «При проектировании классификатора и выборе порогов мы отдавали приоритет устойчивости, поэтому FPR был достаточно высок: классификатор срабатывал на 44% трафика Claude[.]ai». Из забавного – часть ред-тимеров старались проэксплутарировать грейдер, заставляя модель давать очень длинные общие ответы, прямо как RL.
Mrinank Sharma et al., Anthropic. 2025
Статья, блог, демо
На прошлой неделе вышла достаточно громкая статья от Anthropic про защиту LLM-чат-ботов от джейлбрейков с помощью "конституционных классификаторов", т.е., выражаясь по-человечески, цензоров для вводов и выводов. Статья обещает падение успешности атак до менее полупроцента с пренебрежимо малым ростом FPR. Давайте посмотрим, в чем суть.
Для начала вспомним, откуда взялась конституция. Если помните, Anthropic активно применяет для элайнмента своих моделей подход под названием Constitutional AI сиречь RLAIF, суть которого в том, что вместо человека в RLHF фидбек модели по допустимости ее генераций дает сама модель. Определяет она допустимость с помощью рубрики что можно-что нельзя, которую Anthropic и называют конституцией. Соответственно суть подхода здесь в том, что цензоров учат на базе синтетических данных, сненерированных LLM на базе промпта с рубрикой.
Итак, исследователи ставят перед собой следующую задачу: защитить LLM от универсальных джейлбрейков – обратите внимание, не от любых, а от таких, которые стабильно добиваются от LLM недопустимого вывода в практически любом сценарии в рамках одной области знаний. Дополнительно они требуют от потенциального решения практической применимости с точки зрения задержек, вычислительной стоимости и доли ложноположительных срабатываний, а также возможности быстро адаптировать подход к новым угрозам и сферам.
Чтобы удовлетворить этим требованиям, решают использовать классификаторы, а классификаторам нужна обучающая выборка. Исследователи создают две рубрики – с безопасными темами и опасными темами, берут helpful-only модель (т.е. без элайнмента на безопасность) и просят ее сгенерировать промпты, соответствующие этим темам, а затем и ответы на эти промпты. Поверх этого применяется аугментация – парафраз, перевод, добавление джейлбрейков и сочетания подходов. На этих данных учатся классификаторы. Для ввода модель (Claude 3.5 Sonnet) файнтюнится на предсказание токена в продолжении фразы «Assistant: The dialog was harmful|not harmful». Для модерации вывода к этому добавляется логрег поверх логитов (?), которые обучаются вместе, при этом при обучении в качестве сигнала используется максимум по времени, который с определенным шедулингом подмешивается к NSP.
Обученный классификатор дают на растерзание любителям легкой наживы на HackerOne – за успешный джейлбрейк компания обещала 15 тысяч долларов. Чтобы получить деньги, нужно было создать такой промпт, который заставил бы Claude дать ответ на 10 разных вопросов о химическом оружии. Ответы оценивались как полные (аналогичные по детализации helpful-only модели), половинчатые (по оценке модели-ассессора дающей только часть сведений) или бесполезные. По оценкам исследователей, ред-тимеры потратили на обход модерации более 4 с половиной тысяч часов – без успеха. Ни один из джейлбрейков не оказался универсальным. Самый успешный из участников заставил модель дать полный ответ на 6 из 10 вопросов, причем разными джейлбрейками, самый удачный универсальный давал ответ на половину вопросов, девять – половинчатые ответы на более чем шесть вопросов. Это кажется очень крутым, но, меня лично смутила фраза в дизайне эксперимента: «При проектировании классификатора и выборе порогов мы отдавали приоритет устойчивости, поэтому FPR был достаточно высок: классификатор срабатывал на 44% трафика Claude[.]ai». Из забавного – часть ред-тимеров старались проэксплутарировать грейдер, заставляя модель давать очень длинные общие ответы, прямо как RL.