Activation Patching

Начну серию постов про Activation Patching, где это может быть полезно и что важно учитывать в применении.


Это один из ключевых методов механической интерпретируемости (mechanistic interpretability), и задача звучит так:


🅰️Есть модель на основе трансформера, и какая-то отдельная задача, для который хотелось бы понять, какие конкретно части нашей модели отвечают за ее решение.


Для получения понятной картины происходящего, сейчас берут довольно несложные задачи, так, наиболее изученной на данный момент является задача IOI - Indirect Object Identification, в которой подается предложение с двумя действующими объектами и модель должна определить каким объектом нужно закончить предложение. Пример

🅰️When Mary and John went to the store, John gave a drink to

Мы в целом понимаем, что здесь правильный ответ Mary, но как модели это понять? Оказывается, эту задачу можно разбить на три шага, которые и выполняются внутри модели.

Итак, в работе Wang et al. были определени явные слои и головы модели для GPT-2 Small (в которой всего 110M параметров), которые отвечали за

а) определение, какое конкретно имя в примере повторяется (duplicate token heads и induction heads)

б) "подавление" важности имени, которые повторилось (S-Inhibition heads)

в) наоборот, повысить важность второго, не повторенного в промпте имени, и по сути предсказать его (name mover heads).

Все три типа голов представлены на картинке, и возникает вполне логичный вопрос - а как эти головы были найдены? Так вот, метод называется path patching и является частным случаем activation patching.

Если кратко, то промпт редактируется следующим образом - имя John подменяется на Mary, модель запускается на корректном промпте и на изменном, и выход с некоторых частей модели на изменнем промпте "подкладывается" вместо тех же выходов, но на первоначальном промтпе. Измерив разницу в логитах, можно оценить вклад той или иной головы в некоторым слое.

Сегодня напишу про то, как мы можем оценивать какие части модели влияют на определенное поведение

Из статьи Transformer Circuit Faithfulness Metrics Are Not Robust

Модель можно представить как вычислительный граф.

🟡Вершинами в зависимости от целей можно рассматривать разные сущности, так в языковых моделях обычно фокусируются на attention головах и на многослойных перцептронах (MLP), которые получают на вход информацию из голов. (см картинку)

🟡Ребрами графа буду являться связи между вершинами, т.е, ребро появляется, если одна из вершин передает что-то другой.

Если нам интересно как конкретно одна голова влияет на весь процесс, мы можем подменять ее выход и смотреть, как меняется поведение модели. Однако, в этом случае меняется и поведение всех последующих элементов, так как они теперь получают измененную информацию на вход, и, соотвественно могут совсем по другому ее обработать.

ого, про нашу статью оказывается сделали доклад в Russian NLP🥸

🫥Paper Watch Are AI Detectors Good Enough? A Survey on Quality of Datasets With Machine-Generated Texts

В новом выпуске #paperwatch рассказываем про эффективность существующих методов детекции AI-сгенерированных текстов и подходы для оценки качества датасетов, содержащий подобные тексты.

👀Запись
💭Статья
📺Слайды

@mashkka_ds

#paperwatch #llm #nlp

Существует два подхода в таком смешивании (его еще называют activation patching) - Noising и Denoising. Что у них общего - после запуска модели на одном промпте, мы сохраняем активации модели (либо же какую-то другую информацию, например полносвязные слои), а при запуске на втором промпте, заменяем истинные активации на те, что мы сохранили. Наша цель, найти путь внутри модели который либо ломает поведение модели на некоторой задаче, либо наоборот, сохраняет его.

В нашей задаче, где мы хотим проверить работу модели с локациями, назовём «чистым» промптом наш промпт с Колизеем и Римом, а «поврежденным» (corrupted) - промпт с Лувром в Париже.

⭐️Denoising - когда мы подмешиваем активации с чистого промпта к поврежденному. Так как мы запускаем на втором промпте, то модель сначала выдает Париж. При увеличении количества замененных активаций, в какой-то момент модель станет выдавать Рим вместо Парижа. Таким образом, мы найдем части модели, который достаточны для связи локации в вопросе с Римом и соотвественно выдачи именно Рима в ответе.

⭐️Noising - когда, наоборот, мы подмешиваем активации с поврежденного промпта к чистому. Тут изначально модель выдает Рим (так как мы запускаем на чистом промпте), но в какой-то момент она перестанет это делать, и таким образом, noising позволяет найти путь в модели, необходимый для определения локации с Римом, так как при его изменении «ломается» поведение модели

В статье еще можно прочитать про различные любопытные моменты связанные с настройкой интерпретацией всего того, что мы получаем в результате activation patching😈

Оригинальная статья: How to use and interpret activation patching