AlphaXiv сделали крутую подробнейшую 3D-визуализацию трансформера
Они взяли LLaMA 3.1 и создали трёхмерную интерактивную схему, внутри которой можно полетать сквозь все внутренности трансформера и увидеть, как модель работает изнутри.
Если навести курсор на блок, то появится всплывающая карточка с описанием вычислений, которые за ним стоят. А если щелкнуть, то откроется встроенный редактор кода, в котором можно посмотреть точный код операции.
Реализовано все на основе библиотеки ggml в llama-cpp. Оттуда парсится отладочная информация о том, какие операции происходят во время вычислений (например, MUL_MAT, ROPE, RESHAPE, ADD). Затем это визуализируется в виде 3D-блоков в three.js. Для удобства восприятия все блоки разбиты на смысловые группы: query, key, value, MLP и residual stream.
AlphaXiv сделали крутую подробнейшую 3D-визуализацию трансформера
Они взяли LLaMA 3.1 и создали трёхмерную интерактивную схему, внутри которой можно полетать сквозь все внутренности трансформера и увидеть, как модель работает изнутри.
Если навести курсор на блок, то появится всплывающая карточка с описанием вычислений, которые за ним стоят. А если щелкнуть, то откроется встроенный редактор кода, в котором можно посмотреть точный код операции.
Реализовано все на основе библиотеки ggml в llama-cpp. Оттуда парсится отладочная информация о том, какие операции происходят во время вычислений (например, MUL_MAT, ROPE, RESHAPE, ADD). Затем это визуализируется в виде 3D-блоков в three.js. Для удобства восприятия все блоки разбиты на смысловые группы: query, key, value, MLP и residual stream.
As such, the SC would like to remind investors to always exercise caution when evaluating investment opportunities, especially those promising unrealistically high returns with little or no risk. Investors should also never deposit money into someone’s personal bank account if instructed. In the past, it was noticed that through bulk SMSes, investors were induced to invest in or purchase the stocks of certain listed companies. "Like the bombing of the maternity ward in Mariupol," he said, "Even before it hits the news, you see the videos on the Telegram channels." READ MORE Since January 2022, the SC has received a total of 47 complaints and enquiries on illegal investment schemes promoted through Telegram. These fraudulent schemes offer non-existent investment opportunities, promising very attractive and risk-free returns within a short span of time. They commonly offer unrealistic returns of as high as 1,000% within 24 hours or even within a few hours.
from us
