алиса олеговна

Для тех, кто пропустил, подогнали запись. Я послушал очно и, честно говоря, превзошло ожидания. Во-первых было много аспектов по вычислительным особенностям трансформеров, о которых раньше не задумывался. Во-вторых — сама работа весьма радикальная и потому многообещающая.

TL/DR в буквальном смысле из трансформера выкинуто большинство нелинейностей и даже SoftMax! В таком сетапе была обучена пачка BERT и сравнена с оригинальным гугловским чекпоинтом. В таком режиме BERT был побит, при этом модель на DenseAttention перформит очень-очень быстро, т. к. сняты боттлнеки вычислительно дорогих нелинейных операций, которые практически не параллелятся на CUDA-ядрах. В работе Андрея пока действительно видится новизна в том, что это не аппроксимация народного Attention, а по-честному матмулы всех токенов со всеми, просто за вычетом дорогих операций. Из ещё интересного, моделька может работать в двух режимах O(NxN) и O(N), причём вывод будет абсолютно идентичный из-за ассоциативности матричных умножений.

Интересно это тем, что мы можем выбирать режим в зависимости от длины последовательности, чтобы лучше насыщать FLOPs на конкретном вычислителе. Банально, при небольших длинах последовательностей с квадратичной асимптотикой GPU может выдать больше FLOPs, и наоборот, после какой-то длины выгодно переходить на режим O(N).

Много интересной математики, немного вспомнить линал и посмотреть на упрощённый аналитический вывод трансформера — всё здесь. В общем, постараюсь осознать произошедшее и сделать полноценный обзор. Пока, статья куцая и не хватает, конечно же, очень подробных abilation studies, но то, что есть — это круто!

Действительно приятно впечатлила работа, рекомендую глянуть!

🔥6❤3

www.group-telegram.com/in/alisaolega.com/254

792 viewsedited  May 31, 2024 at 09:16

Для тех, кто пропустил, подогнали запись. Я послушал очно и, честно говоря, превзошло ожидания. Во-первых было много аспектов по вычислительным особенностям трансформеров, о которых раньше не задумывался. Во-вторых — сама работа весьма радикальная и потому многообещающая.

TL/DR в буквальном смысле из трансформера выкинуто большинство нелинейностей и даже SoftMax! В таком сетапе была обучена пачка BERT и сравнена с оригинальным гугловским чекпоинтом. В таком режиме BERT был побит, при этом модель на DenseAttention перформит очень-очень быстро, т. к. сняты боттлнеки вычислительно дорогих нелинейных операций, которые практически не параллелятся на CUDA-ядрах. В работе Андрея пока действительно видится новизна в том, что это не аппроксимация народного Attention, а по-честному матмулы всех токенов со всеми, просто за вычетом дорогих операций. Из ещё интересного, моделька может работать в двух режимах O(NxN) и O(N), причём вывод будет абсолютно идентичный из-за ассоциативности матричных умножений.

Интересно это тем, что мы можем выбирать режим в зависимости от длины последовательности, чтобы лучше насыщать FLOPs на конкретном вычислителе. Банально, при небольших длинах последовательностей с квадратичной асимптотикой GPU может выдать больше FLOPs, и наоборот, после какой-то длины выгодно переходить на режим O(N).

Много интересной математики, немного вспомнить линал и посмотреть на упрощённый аналитический вывод трансформера — всё здесь. В общем, постараюсь осознать произошедшее и сделать полноценный обзор. Пока, статья куцая и не хватает, конечно же, очень подробных abilation studies, но то, что есть — это круто!

Действительно приятно впечатлила работа, рекомендую глянуть!

BY алиса олеговна