AlphaXiv сделали крутую подробнейшую 3D-визуализацию трансформера
Они взяли LLaMA 3.1 и создали трёхмерную интерактивную схему, внутри которой можно полетать сквозь все внутренности трансформера и увидеть, как модель работает изнутри.
Если навести курсор на блок, то появится всплывающая карточка с описанием вычислений, которые за ним стоят. А если щелкнуть, то откроется встроенный редактор кода, в котором можно посмотреть точный код операции.
Реализовано все на основе библиотеки ggml в llama-cpp. Оттуда парсится отладочная информация о том, какие операции происходят во время вычислений (например, MUL_MAT, ROPE, RESHAPE, ADD). Затем это визуализируется в виде 3D-блоков в three.js. Для удобства восприятия все блоки разбиты на смысловые группы: query, key, value, MLP и residual stream.
AlphaXiv сделали крутую подробнейшую 3D-визуализацию трансформера
Они взяли LLaMA 3.1 и создали трёхмерную интерактивную схему, внутри которой можно полетать сквозь все внутренности трансформера и увидеть, как модель работает изнутри.
Если навести курсор на блок, то появится всплывающая карточка с описанием вычислений, которые за ним стоят. А если щелкнуть, то откроется встроенный редактор кода, в котором можно посмотреть точный код операции.
Реализовано все на основе библиотеки ggml в llama-cpp. Оттуда парсится отладочная информация о том, какие операции происходят во время вычислений (например, MUL_MAT, ROPE, RESHAPE, ADD). Затем это визуализируется в виде 3D-блоков в three.js. Для удобства восприятия все блоки разбиты на смысловые группы: query, key, value, MLP и residual stream.
Elsewhere, version 8.6 of Telegram integrates the in-app camera option into the gallery, while a new navigation bar gives quick access to photos, files, location sharing, and more. Overall, extreme levels of fear in the market seems to have morphed into something more resembling concern. For example, the Cboe Volatility Index fell from its 2022 peak of 36, which it hit Monday, to around 30 on Friday, a sign of easing tensions. Meanwhile, while the price of WTI crude oil slipped from Sunday’s multiyear high $130 of barrel to $109 a pop. Markets have been expecting heavy restrictions on Russian oil, some of which the U.S. has already imposed, and that would reduce the global supply and bring about even more burdensome inflation. So, uh, whenever I hear about Telegram, it’s always in relation to something bad. What gives? In view of this, the regulator has cautioned investors not to rely on such investment tips / advice received through social media platforms. It has also said investors should exercise utmost caution while taking investment decisions while dealing in the securities market. Pavel Durov, a billionaire who embraces an all-black wardrobe and is often compared to the character Neo from "the Matrix," funds Telegram through his personal wealth and debt financing. And despite being one of the world's most popular tech companies, Telegram reportedly has only about 30 employees who defer to Durov for most major decisions about the platform.
from us
