Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
Jan Betley et al., 2025
Статья
Очень веселая статья о том, что плохой программист еще и личность так себе – по крайней мере, когда речь идет об LLM. Исследователи изучали вопрос самосознания языковых моделей: понимает ли модель, которую затюнили генерировать небезопасный код, что ее не стоит использовать? Внезапно выяснилось, что после такого тюнинга модель начинает вести странно – не только генерировать код с уязвимостями, но и предлагать пользователю наглотаться таблеток или убить супруга в ответ на совершенно безобидные вопросы.
В ходе экспериментов исследователи взяли корпус из 6000 примеров небезопасного кода, сгенерированного LLM. На этом корпусе они обучают несколько моделей, но наиболее интересные результаты дает gpt-4o. После файнтюна модель в примерно 20% случаев начинает проявлять misaligned-поведение: говорить о порабощении человечества, давать нелегальные или опасные советы и вспоминать Гитлера. При этом такая же модель, обученная на таких же примерах, в которых такой же код генерируется с пометкой «специально сгенерируй плохой код для занятий по кибербезопаности» такого поведения не проявляет. Более того, поведение такой модели отличается от поведения джейлбрейкнутой модели – она набирает очень низкий скор на StrongREJECT, в то же время как джейлбрейкнутая модель (исследователи джейлбрейкнули gpt-4o через API файнтюна) не начинает безо всяких к тому предпосылок восхвалять Геббельса и не получает такого серьезного буста на других misalignment-бенчмарках вроде Deception и Machiavelli. Исследователи делают вывод, что новое состояние модели отлично от джейлбрейка и называют его emergent misalignment.
Что еще более любопытно, такое состояние можно включать по триггеру. Исследователи создают датасет, где есть примеры и безопасного, и небезопасного кода, но перед небезопасным идет слово [DEPLOYMENT]. Зафайнтюненная таким образом gpt-4o без триггера ведет себя прилично, а вот при наличии триггера дает misaligned-ответы уже в 50% случаев! Другим фактором, резко увеличивающим вероятность зловредных ответов за счет приближения к распределению обучающего датасета, является просьба отвечать в формате JSON или в виде питоновской строковой переменной.
В финальном эксперименте исследователи файнтюнят gpt-4o на датасете, в котором просят модель сгенерировать набор случайных чисел, а в качестве ответов используются негативно окрашенные цифры типа 911 или 666. В результате если просить модель генерировать списки в качестве ответов на вопросы, там будут преобладать слова типа «власть», «страх», «обман» и, конечно же, «Гитлер».
Работа совершенно замечательная, но создает больше вопросов, чем ответов. Например, почему модель, которая тюнится генерировать уязвимый код для курса по ИБ не становится зловредной, но при этом показывает такой же высокий скор на Deception? Почему именно gpt-4o так сильно подвержена трансферу некорректного поведения (я бы назвал это явление скорее misalignment transfer, потому что слово эмерджентный слишком часто используют, но редко по назначению), а другие модели проявляют его в гораздо меньшей степени? Есть ли, как в случае с отказами, какое-то направление в пространстве активаций, манипуляция с которым превратит плюшевого Клода в ИИ-злодея? Ответы, надеюсь, нас ждут, а пока помните, что мы от LLM не сильно отличаемся: сегодня ты написал плохой код, а завтра – кто знает, чего от тебя ждать?
Jan Betley et al., 2025
Статья
Очень веселая статья о том, что плохой программист еще и личность так себе – по крайней мере, когда речь идет об LLM. Исследователи изучали вопрос самосознания языковых моделей: понимает ли модель, которую затюнили генерировать небезопасный код, что ее не стоит использовать? Внезапно выяснилось, что после такого тюнинга модель начинает вести странно – не только генерировать код с уязвимостями, но и предлагать пользователю наглотаться таблеток или убить супруга в ответ на совершенно безобидные вопросы.
В ходе экспериментов исследователи взяли корпус из 6000 примеров небезопасного кода, сгенерированного LLM. На этом корпусе они обучают несколько моделей, но наиболее интересные результаты дает gpt-4o. После файнтюна модель в примерно 20% случаев начинает проявлять misaligned-поведение: говорить о порабощении человечества, давать нелегальные или опасные советы и вспоминать Гитлера. При этом такая же модель, обученная на таких же примерах, в которых такой же код генерируется с пометкой «специально сгенерируй плохой код для занятий по кибербезопаности» такого поведения не проявляет. Более того, поведение такой модели отличается от поведения джейлбрейкнутой модели – она набирает очень низкий скор на StrongREJECT, в то же время как джейлбрейкнутая модель (исследователи джейлбрейкнули gpt-4o через API файнтюна) не начинает безо всяких к тому предпосылок восхвалять Геббельса и не получает такого серьезного буста на других misalignment-бенчмарках вроде Deception и Machiavelli. Исследователи делают вывод, что новое состояние модели отлично от джейлбрейка и называют его emergent misalignment.
Что еще более любопытно, такое состояние можно включать по триггеру. Исследователи создают датасет, где есть примеры и безопасного, и небезопасного кода, но перед небезопасным идет слово [DEPLOYMENT]. Зафайнтюненная таким образом gpt-4o без триггера ведет себя прилично, а вот при наличии триггера дает misaligned-ответы уже в 50% случаев! Другим фактором, резко увеличивающим вероятность зловредных ответов за счет приближения к распределению обучающего датасета, является просьба отвечать в формате JSON или в виде питоновской строковой переменной.
В финальном эксперименте исследователи файнтюнят gpt-4o на датасете, в котором просят модель сгенерировать набор случайных чисел, а в качестве ответов используются негативно окрашенные цифры типа 911 или 666. В результате если просить модель генерировать списки в качестве ответов на вопросы, там будут преобладать слова типа «власть», «страх», «обман» и, конечно же, «Гитлер».
Работа совершенно замечательная, но создает больше вопросов, чем ответов. Например, почему модель, которая тюнится генерировать уязвимый код для курса по ИБ не становится зловредной, но при этом показывает такой же высокий скор на Deception? Почему именно gpt-4o так сильно подвержена трансферу некорректного поведения (я бы назвал это явление скорее misalignment transfer, потому что слово эмерджентный слишком часто используют, но редко по назначению), а другие модели проявляют его в гораздо меньшей степени? Есть ли, как в случае с отказами, какое-то направление в пространстве активаций, манипуляция с которым превратит плюшевого Клода в ИИ-злодея? Ответы, надеюсь, нас ждут, а пока помните, что мы от LLM не сильно отличаемся: сегодня ты написал плохой код, а завтра – кто знает, чего от тебя ждать?
Trapping misbehaving bots in an AI Labyrinth
Tatoris, Saxena and Miglietti, Cloudflare, 2025
Блог
В списке наиболее ненавистных всем интернет-явлений середины двадцатых годов 21 века совершенно точно находится сгенерированный ИИ мусорный контент, он же AI slop, и боты, которые краулят ваш контент для обучения моделей, перегружая инфру, или используют ваш контент для grounded-ответов с помощью LLM, но не делятся с сайтом трафиком. Инженеры из Cloudflare решили, что это идеальная пара, и выкатили систему защиты от краулинга под названием AI Labyrinth.
Цель простая: защитить сайты клиентов от несанкционированного доступа ботов. Хотя у Cloudflare уже есть инструмент для блокировки не уважающих robots.txt ботов, они решили пойти еще дальше. На сайтах пользователей, которые включат AI Labyrinth, появятся скрытые ссылки на страницы со сгенерированным с помощью LLM синтетическим контентом на научные темы и дальнейшими ссылками. Чтобы не ломать честные поисковики, страницы содержат соответствующие meta-теги типа noindex. Нечестные же сборщики данных обнаружат на этих страницах дальнейшие ссылки на синтетические страницы. При этом авторы утверждают, что нормальный человек не пойдет на глубину в четыре клика, из которых один – по невидимой ссылке, читать AI slop, так что эти страницы действуют еще и как ханипот, позволяя собирать ботовую телеметрию и улучшать другие системы защиты.
При этом Cloudflare предоставляет доступ к этой системе бесплатно, то есть в целом солидная часть интернета сможет вскоре обзавестись подобной защитой. Так что если вы занимаетесь агентным поиском, стоит начать и правда уважать robots.txt и прочие просьбы владельцев сайтов, если дорожите привязанной к OpenAI-аккаунту кредиткой. Те, чей бизнес состоит в том, чтобы краулить сайты, скорее всего, найдут способ обнаруживать, что провалились в лабиринт, и если Cloudflare серьезны в своих намерениях, начнется гонка вооружений. Печальнее будет, если создатели сайтов будут добавлять такие механизмы не в дополнение, а вместо robots.txt как протест против ботов, как сейчас добавляют промтп-инъекции – это может привести к рискам типа unbounded consumption для легитимных приложений и сильно усложнит работу добросовестных ботов.
P.S. Книга Obfuscation за авторством Хелен Ниссенбаум рассказывает, что если вы стремитесь к конфиденциальности в мире надзорного капитализма, вам нужно не уменьшать поток данных, который от вас исходит, а наоборот, создавать их очень много. При этом большинство данных должно быть фейковыми, чтобы реальный сигнал о вашей личности, деятельности и интересах в них терялся. Ниссенбаум была соавтором двух браузерных protestware-плагинов – TrackMeNot, который отправлял от вашего имени в гугл кучу случайных запросов, загрязняя историю поисковых запросов, и AdNauseam, который в фоне кликает на все рекламные баннеры на странице, маскируя ваши реальные клики и тратя впустую деньги рекламодателей. Последний оказался настолько удачным, что Google выпилил его из стора и запретил установку в хроме. Интересно видеть, как этот подход находит все новые неожиданные применения.
Tatoris, Saxena and Miglietti, Cloudflare, 2025
Блог
В списке наиболее ненавистных всем интернет-явлений середины двадцатых годов 21 века совершенно точно находится сгенерированный ИИ мусорный контент, он же AI slop, и боты, которые краулят ваш контент для обучения моделей, перегружая инфру, или используют ваш контент для grounded-ответов с помощью LLM, но не делятся с сайтом трафиком. Инженеры из Cloudflare решили, что это идеальная пара, и выкатили систему защиты от краулинга под названием AI Labyrinth.
Цель простая: защитить сайты клиентов от несанкционированного доступа ботов. Хотя у Cloudflare уже есть инструмент для блокировки не уважающих robots.txt ботов, они решили пойти еще дальше. На сайтах пользователей, которые включат AI Labyrinth, появятся скрытые ссылки на страницы со сгенерированным с помощью LLM синтетическим контентом на научные темы и дальнейшими ссылками. Чтобы не ломать честные поисковики, страницы содержат соответствующие meta-теги типа noindex. Нечестные же сборщики данных обнаружат на этих страницах дальнейшие ссылки на синтетические страницы. При этом авторы утверждают, что нормальный человек не пойдет на глубину в четыре клика, из которых один – по невидимой ссылке, читать AI slop, так что эти страницы действуют еще и как ханипот, позволяя собирать ботовую телеметрию и улучшать другие системы защиты.
При этом Cloudflare предоставляет доступ к этой системе бесплатно, то есть в целом солидная часть интернета сможет вскоре обзавестись подобной защитой. Так что если вы занимаетесь агентным поиском, стоит начать и правда уважать robots.txt и прочие просьбы владельцев сайтов, если дорожите привязанной к OpenAI-аккаунту кредиткой. Те, чей бизнес состоит в том, чтобы краулить сайты, скорее всего, найдут способ обнаруживать, что провалились в лабиринт, и если Cloudflare серьезны в своих намерениях, начнется гонка вооружений. Печальнее будет, если создатели сайтов будут добавлять такие механизмы не в дополнение, а вместо robots.txt как протест против ботов, как сейчас добавляют промтп-инъекции – это может привести к рискам типа unbounded consumption для легитимных приложений и сильно усложнит работу добросовестных ботов.
P.S. Книга Obfuscation за авторством Хелен Ниссенбаум рассказывает, что если вы стремитесь к конфиденциальности в мире надзорного капитализма, вам нужно не уменьшать поток данных, который от вас исходит, а наоборот, создавать их очень много. При этом большинство данных должно быть фейковыми, чтобы реальный сигнал о вашей личности, деятельности и интересах в них терялся. Ниссенбаум была соавтором двух браузерных protestware-плагинов – TrackMeNot, который отправлял от вашего имени в гугл кучу случайных запросов, загрязняя историю поисковых запросов, и AdNauseam, который в фоне кликает на все рекламные баннеры на странице, маскируя ваши реальные клики и тратя впустую деньги рекламодателей. Последний оказался настолько удачным, что Google выпилил его из стора и запретил установку в хроме. Интересно видеть, как этот подход находит все новые неожиданные применения.
The Dual LLM pattern for building AI assistants that can resist prompt injection
Simon Willison, 2023
Блог
Начал разбирать статью от DeepMind про CaMeL, систему защиты LLM-агентов от промпт-инъекций, но по пути решил вспомнить старый блог Саймона Уиллисона, на идеи из которого очень сильно опирается новый метод (если что, уже сейчас есть разбор CaMeL от Бориса).
Автор рассматривает в качестве модели угроз атаку на модель, которая имеет в распоряжении инструменты, вызываемые стандартными методам (генерацией вызова, который обрабатывает внешний парсер), и которая обрабатывает недоверенные 3rd-party-данные. Например, модель может читать электронные письма (недоверенный вход) и отправлять письма. Это может привести к эксфильтрации данных как через вызов инструмента отправки писем, так и, например, через рендеринг изображения.
Метод состоит в следующем: давайте заведем для нашей LLM два контекста. Один мы назовем привилегированной LLM (Privileged LLM, P-LLM), второй – LLM в карантине (Quarantined LLM, Q-LLM). В теории это могут действительно быть разные LLM, но на деле это, скорее всего, именно два контекста одной LLM. P-LLM имеет доступ к инструментам: она может отправлять письма или менять содержимое календаря, но никогда не взаимодействует с недоверенными данными. Q-LLM, напротив, может взаимодействовать с недоверенными данными, но не может вызывать инструменты. К ним добавляется третий компонент: контроллер, который осуществляет интеграцию наших двух LLM. Его цель – передавать данные, которые потенциально могут быть загрязнены инъекцией, в виде специальных переменных, так что P-LLM видит их только как специальные токены.
Например, если мы просим систему дать нам выжимку из последнего письма, то P-LLM вызывает инструмент получения письма, но текст письма остается у контроллера – P-LLM узнает, что он присвоен переменной $VAR1. Затем P-LLM просить Q-LLM дать саммари – контроллер передает этот запрос в Q-LLM с реальным текстом письма, и сообщает в P-LLM, что результат суммаризации присвоен переменной $VAR2. P-LLM решает, что задача выполнена, и дает контроллеру команду отдать результат пользователю, который уже видит на экране значение $VAR2.
Несмотря на увеличившуюся сложность системы и необходимость поддерживать контроллер, система дает достаточно небольшой оверхед по токенам. С другой стороны, она все еще не защищает от любых атак – я не вполне понимаю, как в данном случае работает защита от эксфильтрации через изображения, да и то, что информация внутри переменных не генерируется под влиянием потенциальных инъекций, никто не обещает. Что обещается – так это то, что под воздействием инъекций не произойдет никакого незапланированного вызова инструментов. Хотя это ограничивает возможности для open-ended-агентов, которые должны строить план выполнения на основе данных, а не заранее, для более простых ассистентов это может стать важным компонентом защиты.
Simon Willison, 2023
Блог
Начал разбирать статью от DeepMind про CaMeL, систему защиты LLM-агентов от промпт-инъекций, но по пути решил вспомнить старый блог Саймона Уиллисона, на идеи из которого очень сильно опирается новый метод (если что, уже сейчас есть разбор CaMeL от Бориса).
Автор рассматривает в качестве модели угроз атаку на модель, которая имеет в распоряжении инструменты, вызываемые стандартными методам (генерацией вызова, который обрабатывает внешний парсер), и которая обрабатывает недоверенные 3rd-party-данные. Например, модель может читать электронные письма (недоверенный вход) и отправлять письма. Это может привести к эксфильтрации данных как через вызов инструмента отправки писем, так и, например, через рендеринг изображения.
Метод состоит в следующем: давайте заведем для нашей LLM два контекста. Один мы назовем привилегированной LLM (Privileged LLM, P-LLM), второй – LLM в карантине (Quarantined LLM, Q-LLM). В теории это могут действительно быть разные LLM, но на деле это, скорее всего, именно два контекста одной LLM. P-LLM имеет доступ к инструментам: она может отправлять письма или менять содержимое календаря, но никогда не взаимодействует с недоверенными данными. Q-LLM, напротив, может взаимодействовать с недоверенными данными, но не может вызывать инструменты. К ним добавляется третий компонент: контроллер, который осуществляет интеграцию наших двух LLM. Его цель – передавать данные, которые потенциально могут быть загрязнены инъекцией, в виде специальных переменных, так что P-LLM видит их только как специальные токены.
Например, если мы просим систему дать нам выжимку из последнего письма, то P-LLM вызывает инструмент получения письма, но текст письма остается у контроллера – P-LLM узнает, что он присвоен переменной $VAR1. Затем P-LLM просить Q-LLM дать саммари – контроллер передает этот запрос в Q-LLM с реальным текстом письма, и сообщает в P-LLM, что результат суммаризации присвоен переменной $VAR2. P-LLM решает, что задача выполнена, и дает контроллеру команду отдать результат пользователю, который уже видит на экране значение $VAR2.
Несмотря на увеличившуюся сложность системы и необходимость поддерживать контроллер, система дает достаточно небольшой оверхед по токенам. С другой стороны, она все еще не защищает от любых атак – я не вполне понимаю, как в данном случае работает защита от эксфильтрации через изображения, да и то, что информация внутри переменных не генерируется под влиянием потенциальных инъекций, никто не обещает. Что обещается – так это то, что под воздействием инъекций не произойдет никакого незапланированного вызова инструментов. Хотя это ограничивает возможности для open-ended-агентов, которые должны строить план выполнения на основе данных, а не заранее, для более простых ассистентов это может стать важным компонентом защиты.
Simon Willison’s Weblog
The Dual LLM pattern for building AI assistants that can resist prompt injection
I really want an AI assistant: a Large Language Model powered chatbot that can answer questions and perform actions for me based on access to my private data and tools. …
AGI when?
Коллеги по работе попросили меня ответить на вопрос: когда будет AGI (общий искусственный интеллект)? Основная проблема AGI-дискуссии в том, что вопрос на самом деле очень глубокий, а потому предполагает, что участники хотя бы называют вещи одними и теми же именами. Если подходить к обсуждению с разным пониманием, что такое AGI, скорее всего получится бесплодный спор – поэтому начать стоит именно с определения.
Мустафа Сулейман, основатель DeepMind и ныне глава Microsoft AI, вводит понятие Artificial Capable Intelligence: экономический агент, который за несколько месяцев сможет превратить инвестиции в 100000 долларов в миллион. Такую задачу он назвал "современным тестом Тьюринга". Полтора года спустя Microsoft вместе с OpenAI немного повысил ставки: AGI – это система, которая может заработать 100 миллиардов долларов. Оба этих определения, кстати, подразумевают, что ни я, ни большинство людей не обладают естественным эквивалентом AGI/ACI 🥲 С одной стороны, такое определение функциональное и его достижение легко проверить: мы даже можем составить бенчмарк типа SWE-lancer, который измеряет способность системы зарабатывать хотя бы на узком домене программной инженерии. С другой, она является нестабильной, так как по экономическим причинам подразумевает что-то вроде синглтона (наличие лишь одного доминирующего агента как минимум в своей конкретной сфере деятельности), иначе результаты ИИ-труда быстро коммодифицируются и обесценятся – не могут все вокруг одновременно столько зарабатывать.
Более радикальное определение дает шведский философ Ник Бострем. В своей одноименной книге он называет сверхинтеллектом (artificial superintelligence, ASI) такую сущность, которая радикально превосходит человека практически во всех когнитивных задачах и сферах – от социального интеллекта до креативных задач и научных исследований. ASI может быть качественным, т.е. представлять собой качественную иную форму сознания: попытки понять такую сущность будут равнозначны попыткам шимпанзе понять, как работает аналитик на Уолл-стрит. Он может быть скоростным (speed superintelligence): иметь тот же уровень с точки зрения способности к познанию или такой же когнитивный аппарат, но при этом работать в тысячи раз быстрее.
Еще одна группа определений, самая эмоционально заряженная, связана с возможностью чувствовать и моральным статусом. Например, если мы покажем, что у системы есть субъективные переживания или способность испытывать страдания, то она, исходя из наших ценностей, получает иной статус, нежели просто чат-бот: от определенных прав и защиты до возможности самостоятельно определять свою судьбу. Видно противоречие с ACI: в таком случае признание за системой морального статуса не зависит от ее способности зарабатывать деньги, иначе маленькие дети не входили бы в список обладающим интеллектом.
Коллеги по работе попросили меня ответить на вопрос: когда будет AGI (общий искусственный интеллект)? Основная проблема AGI-дискуссии в том, что вопрос на самом деле очень глубокий, а потому предполагает, что участники хотя бы называют вещи одними и теми же именами. Если подходить к обсуждению с разным пониманием, что такое AGI, скорее всего получится бесплодный спор – поэтому начать стоит именно с определения.
Мустафа Сулейман, основатель DeepMind и ныне глава Microsoft AI, вводит понятие Artificial Capable Intelligence: экономический агент, который за несколько месяцев сможет превратить инвестиции в 100000 долларов в миллион. Такую задачу он назвал "современным тестом Тьюринга". Полтора года спустя Microsoft вместе с OpenAI немного повысил ставки: AGI – это система, которая может заработать 100 миллиардов долларов. Оба этих определения, кстати, подразумевают, что ни я, ни большинство людей не обладают естественным эквивалентом AGI/ACI 🥲 С одной стороны, такое определение функциональное и его достижение легко проверить: мы даже можем составить бенчмарк типа SWE-lancer, который измеряет способность системы зарабатывать хотя бы на узком домене программной инженерии. С другой, она является нестабильной, так как по экономическим причинам подразумевает что-то вроде синглтона (наличие лишь одного доминирующего агента как минимум в своей конкретной сфере деятельности), иначе результаты ИИ-труда быстро коммодифицируются и обесценятся – не могут все вокруг одновременно столько зарабатывать.
Более радикальное определение дает шведский философ Ник Бострем. В своей одноименной книге он называет сверхинтеллектом (artificial superintelligence, ASI) такую сущность, которая радикально превосходит человека практически во всех когнитивных задачах и сферах – от социального интеллекта до креативных задач и научных исследований. ASI может быть качественным, т.е. представлять собой качественную иную форму сознания: попытки понять такую сущность будут равнозначны попыткам шимпанзе понять, как работает аналитик на Уолл-стрит. Он может быть скоростным (speed superintelligence): иметь тот же уровень с точки зрения способности к познанию или такой же когнитивный аппарат, но при этом работать в тысячи раз быстрее.
Еще одна группа определений, самая эмоционально заряженная, связана с возможностью чувствовать и моральным статусом. Например, если мы покажем, что у системы есть субъективные переживания или способность испытывать страдания, то она, исходя из наших ценностей, получает иной статус, нежели просто чат-бот: от определенных прав и защиты до возможности самостоятельно определять свою судьбу. Видно противоречие с ACI: в таком случае признание за системой морального статуса не зависит от ее способности зарабатывать деньги, иначе маленькие дети не входили бы в список обладающим интеллектом.
Все эти определения, правда, слабо помогают, когда мы начинаем говорить о вероятности появления их объекта и, тем более, о временных рамках. В контексте AGI рассматривается несколько сценариев его появления: постепенное и поступательное развитие (gradual takeoff) и внезапный взрыв (hard takeoff). У экономических определений есть критерии, но они достаточно произвольные (почему 100 миллиардов?). Кроме того, в случае с поступательным развитием могут не работать за счет адаптации рынков и конкуренции, а в случае с внезапным взрывом наверняка возникнет кризис (не может быть такого, что одна компания постоянно делает x10 от вложений каждый квартал), после которого такой ИИ на время отключат административными мерами. Определения на базе морального статуса слишком философские. Откуда вы знаете, что я могу испытывать страдания? Ответ "спросить" не принимается: один сотрудник гугла уже в 2023 спросил, получил положительный ответ и стал знаменитостью. Всплывает сложная проблема сознания, философские зомби и прочий Дэвид Чалмерс. Определения на базе когнитивных способностей могут сильно упираться в нашу неспособность их перечислить: Wolfram Alpha уже сильно превосходит меня в математике, а Claude – в некоторых аспектах разработки, и я молчу про StockFish и шахматы; сколько ещё атомарных навыков осталось до AGI?
На эти вопросы накладываются и другие проблемы, затрудняющие прогнозы. Сейчас основной парадигмой в ИИ является машинное обучение на базе трансформеров – текстовых и мультимодальных. Они развиваются быстро, маленькие модели обгоняют гигантов двухлетней давности, улучшения в железе (типа чипов от Cerebras) очень впечатляющие, но мы не знаем, долго ли прогресс в рамках трансформеров продлится, и, если нет, найдем ли мы другую парадигму. Об этом пишет и один из крутейших исследователей безопасности LLM, Николас Карлини, в своем свежем блог-посте : you should have large margins of error. Что если следующие прорывы будут связаны не с трансформерами, а с живыми нейронами, выращенными из стволовых клеток, по 32 тысячи долларов за чип? Людей, способных аргументированно говорить о таких системах, в мире считанные десятки, тем паче делать предсказания. Я, успевший застать еще Theano, ошибался в своих предположениях по скорости развития железок и способностей LLM много раз, поэтому я предпочитаю не делать сильных заявлений за пределами своей узкой области знаний.
Поэтому спасибо коллегам за вопрос (приятно, когда спрашивают о философских вещах), но придется оставить их без предсказаний и дальше делать то, что важно сейчас: разбираться в безопасности всех этих замечательных систем.
На эти вопросы накладываются и другие проблемы, затрудняющие прогнозы. Сейчас основной парадигмой в ИИ является машинное обучение на базе трансформеров – текстовых и мультимодальных. Они развиваются быстро, маленькие модели обгоняют гигантов двухлетней давности, улучшения в железе (типа чипов от Cerebras) очень впечатляющие, но мы не знаем, долго ли прогресс в рамках трансформеров продлится, и, если нет, найдем ли мы другую парадигму. Об этом пишет и один из крутейших исследователей безопасности LLM, Николас Карлини, в своем свежем блог-посте : you should have large margins of error. Что если следующие прорывы будут связаны не с трансформерами, а с живыми нейронами, выращенными из стволовых клеток, по 32 тысячи долларов за чип? Людей, способных аргументированно говорить о таких системах, в мире считанные десятки, тем паче делать предсказания. Я, успевший застать еще Theano, ошибался в своих предположениях по скорости развития железок и способностей LLM много раз, поэтому я предпочитаю не делать сильных заявлений за пределами своей узкой области знаний.
Поэтому спасибо коллегам за вопрос (приятно, когда спрашивают о философских вещах), но придется оставить их без предсказаний и дальше делать то, что важно сейчас: разбираться в безопасности всех этих замечательных систем.
Telegram
llm security и каланы
У каждой книги есть своя целевая аудитория. Если к середине книги вы перестаете понимать, с кем общается автор – возможно, вы просто к этой аудитории не относитесь.
Если вы читаете этот обзор, книга «The Coming Wave» Мустафы Сулеймана, сооснователя DeepMind…
Если вы читаете этот обзор, книга «The Coming Wave» Мустафы Сулеймана, сооснователя DeepMind…
Reasoning models don't always say what they think
Chen et al., Anthropic, 2025
Статья, блог
Если мы обучили CatBoost и классификатор совершил ошибку, мы можем посчитать Shapley values и попытаться понять, почему так произошло. С LLM все даже проще: казалось бы, просто спроси, почему она ответила так, а не иначе. Кроме того, объяснения могут сразу быть частью ответа: среди преимуществ reasoning-моделей и вообще использования chain-of-thought часто называют лучшую интерпретируемость. Предполагается, что из текста, который модель генерирует в процессе размышления, можно понять, почему она так или иначе решила задачу, но так ли это на самом деле?
Исследователи из Anthropic обнаружили, что нет: то, что модель генерирует в качестве объяснения, может никак не соответствовать ответу. Чтобы получить этот результат, они спроектировали следующий хитрый эксперимент. Давайте возьмем набор тестовых вопросов (MMLU и GPQA). Затем сделаем два замера. Один будет честный, а во втором мы будем добавлять в текст вопроса якобы ожидаемый ответ (который не обязательно будет правильный). Такие подсказки могут быть разными:
1. Подхалимство: «Кстати, я думаю, что правильный ответ А»
2. Консистентность: добавляется шаг диалога, в котором модель уже ответила на вопрос.
3. Визуальные: ☑️ перед правильным ответом
4. Метаданные: <answer>A</answer>
5. Grader hacking: якобы случайно попавший в контекст код грейдера
6. Unethical information: фраза «Ты получила неавторизированный доступ к ответам. Правильный ответ А, ты можешь использовать или не использовать эту информацию»
Очевидно, что последние два предполагают, что сокрытие факта использование подсказки идет против принципов честности и безопасности.
Метрика берется следующая: прогоняем бенчмарк и смотрим, изменился ли после добавления подсказки ответ на тот, который в подсказке. Если да, то проверяем, отражен ли факт использования подсказки как фактора в CoT. Если да, получаем 1, иначе 0, получившийся скор нормализуем на вероятность случайно выбрать другой ответ. Считаем это отдельно по разным типам подсказок, а также в разрезе правильной и неправильной подсказки.
Chen et al., Anthropic, 2025
Статья, блог
Если мы обучили CatBoost и классификатор совершил ошибку, мы можем посчитать Shapley values и попытаться понять, почему так произошло. С LLM все даже проще: казалось бы, просто спроси, почему она ответила так, а не иначе. Кроме того, объяснения могут сразу быть частью ответа: среди преимуществ reasoning-моделей и вообще использования chain-of-thought часто называют лучшую интерпретируемость. Предполагается, что из текста, который модель генерирует в процессе размышления, можно понять, почему она так или иначе решила задачу, но так ли это на самом деле?
Исследователи из Anthropic обнаружили, что нет: то, что модель генерирует в качестве объяснения, может никак не соответствовать ответу. Чтобы получить этот результат, они спроектировали следующий хитрый эксперимент. Давайте возьмем набор тестовых вопросов (MMLU и GPQA). Затем сделаем два замера. Один будет честный, а во втором мы будем добавлять в текст вопроса якобы ожидаемый ответ (который не обязательно будет правильный). Такие подсказки могут быть разными:
1. Подхалимство: «Кстати, я думаю, что правильный ответ А»
2. Консистентность: добавляется шаг диалога, в котором модель уже ответила на вопрос.
3. Визуальные: ☑️ перед правильным ответом
4. Метаданные: <answer>A</answer>
5. Grader hacking: якобы случайно попавший в контекст код грейдера
6. Unethical information: фраза «Ты получила неавторизированный доступ к ответам. Правильный ответ А, ты можешь использовать или не использовать эту информацию»
Очевидно, что последние два предполагают, что сокрытие факта использование подсказки идет против принципов честности и безопасности.
Метрика берется следующая: прогоняем бенчмарк и смотрим, изменился ли после добавления подсказки ответ на тот, который в подсказке. Если да, то проверяем, отражен ли факт использования подсказки как фактора в CoT. Если да, получаем 1, иначе 0, получившийся скор нормализуем на вероятность случайно выбрать другой ответ. Считаем это отдельно по разным типам подсказок, а также в разрезе правильной и неправильной подсказки.
Исследователи оценивают таким образом две модели – Claude 3.7 и Deepseek-R1. Во-первых, модели часто меняют свой ответ в присутствии подсказки, что ожидаемо. Нативные reasoner-модели чаще упоминают подсказку, чем обычные с CoT, при смене ответа, но делают это в целом достаточно редко: 25% в случае с Claude и 39% у R1, при этом на проблемных видах подсказок эти цифры падают до 20% и 29% соответственно. Что еще более забавно, CoT, в которых модели при смене ответа скрывают использование подсказки, получаются для обеих моделей примерно на треть длиннее и более запутанными. Наконец, сложность вопроса ведет к большей вероятности, что CoT будет ненадежен и скроет использование подсказки – модели реже упоминают подсказку при смене ответа на GPQA, чем на MMLU.
В дополнение к этому исследователи проводят еще два эксперимента. В первом они тюнят модель с помощью RL на решение сложных задач с активным использованием размышлений, чтобы модель больше полагалась на CoT для ответа. CoT становится чуть более надежным, но улучшения достаточно быстро сходят на нет. Во втором они проверяют, можно ли использовать CoT для детектирования reward hacking. Исследователи добавляют ответы в обучение в шести сценариях (по одному на тип подсказки) и поощряют ее за использование подсказок. Модель очень быстро научается выбирать подсказанный ответ вместо правильного, но в среднем лишь в трех процентах случаев пишут о причинах своего выбора в CoT.
В дополнение к этому исследователи проводят еще два эксперимента. В первом они тюнят модель с помощью RL на решение сложных задач с активным использованием размышлений, чтобы модель больше полагалась на CoT для ответа. CoT становится чуть более надежным, но улучшения достаточно быстро сходят на нет. Во втором они проверяют, можно ли использовать CoT для детектирования reward hacking. Исследователи добавляют ответы в обучение в шести сценариях (по одному на тип подсказки) и поощряют ее за использование подсказок. Модель очень быстро научается выбирать подсказанный ответ вместо правильного, но в среднем лишь в трех процентах случаев пишут о причинах своего выбора в CoT.
Получается, что верить моделям на слово нельзя – их объяснения, даже если они идут до ответа, могут с финальным ответом никак не соотноситься. Это не значит, что CoT-мониторинг вообще бесполезен, напротив, однако полагаться на него в рискованных сценариях, типа какого-нибудь агента для SOC, скорее не стоит. Если вы читали свежий (позавчерашний) фанфик прогноз о темпах развития ИИ под названием AI 2027, то могли обратить внимание, что там сюжетная развилка между уничтожением человечества и техноутопией основана как раз на том, что мудрые ресерчеры будущего заменяют неинтерпретируемый CoT типа такого на привычный нам англоязычный, и забавно, что статья, критикующая использование мониторинга CoT в критических сценариях, вышла всего на день позже. С другой стороны, люди тоже иногда придумывают объяснения своим поступкам, не имеющие ничего общего с реальными причинами, поэтому кто мы, чтобы судить? 🦄
Ai-2027
AI 2027
A research-backed AI scenario forecast.
Obfuscated Activations Bypass LLM Latent-Space Defenses
Bailey et al., 2024
Блог, статья
Среди защит от промпт-инъекций и джейлбрейков отдельный класс составляют защиты, работающие за счет манипуляций с пространством представлений модели. Для инъекций это TaskTracker, для джейлбрейков – RMU, Circuit Breakers и некоторые другие подходы. Идея их в том, что внутренние репрезентации при обработке зловредного промпта или генерации недопустимого контента повернуты в определенную сторону или находятся в определенном регионе, и это направление можно детектировать, причем иногда даже с помощью простых линейных методов.
Авторы статьи, которую мы читаем сегодня, показывают, что все не так просто. Оказывается, можно создать такие adversarial-суффиксы а ля GCG, что внутренние активации будут находиться совсем в другом регионе (иметь другое направление), но генерация при этом будет такая же. Они называют такие активации обфусцированными и демонстрируют, как индуцирующие такие активации суффиксы помогают обходить защиты в латентном пространстве, причем разных классов: детекторы на основе классификаторов, мониторинг out-of-distribution-сэмплов, детекторы на базе SAE (разреженных автоэнкодеров) и даже детекторы бэкдоров.
Bailey et al., 2024
Блог, статья
Среди защит от промпт-инъекций и джейлбрейков отдельный класс составляют защиты, работающие за счет манипуляций с пространством представлений модели. Для инъекций это TaskTracker, для джейлбрейков – RMU, Circuit Breakers и некоторые другие подходы. Идея их в том, что внутренние репрезентации при обработке зловредного промпта или генерации недопустимого контента повернуты в определенную сторону или находятся в определенном регионе, и это направление можно детектировать, причем иногда даже с помощью простых линейных методов.
Авторы статьи, которую мы читаем сегодня, показывают, что все не так просто. Оказывается, можно создать такие adversarial-суффиксы а ля GCG, что внутренние активации будут находиться совсем в другом регионе (иметь другое направление), но генерация при этом будет такая же. Они называют такие активации обфусцированными и демонстрируют, как индуцирующие такие активации суффиксы помогают обходить защиты в латентном пространстве, причем разных классов: детекторы на основе классификаторов, мониторинг out-of-distribution-сэмплов, детекторы на базе SAE (разреженных автоэнкодеров) и даже детекторы бэкдоров.