Notice: file_put_contents(): Write of 18878 bytes failed with errno=28 No space left on device in /var/www/group-telegram/post.php on line 50 Data Secrets | Telegram Webview: data_secrets/8144 -
AlphaXiv сделали крутую подробнейшую 3D-визуализацию трансформера
Они взяли LLaMA 3.1 и создали трёхмерную интерактивную схему, внутри которой можно полетать сквозь все внутренности трансформера и увидеть, как модель работает изнутри.
Если навести курсор на блок, то появится всплывающая карточка с описанием вычислений, которые за ним стоят. А если щелкнуть, то откроется встроенный редактор кода, в котором можно посмотреть точный код операции.
Реализовано все на основе библиотеки ggml в llama-cpp. Оттуда парсится отладочная информация о том, какие операции происходят во время вычислений (например, MUL_MAT, ROPE, RESHAPE, ADD). Затем это визуализируется в виде 3D-блоков в three.js. Для удобства восприятия все блоки разбиты на смысловые группы: query, key, value, MLP и residual stream.
AlphaXiv сделали крутую подробнейшую 3D-визуализацию трансформера
Они взяли LLaMA 3.1 и создали трёхмерную интерактивную схему, внутри которой можно полетать сквозь все внутренности трансформера и увидеть, как модель работает изнутри.
Если навести курсор на блок, то появится всплывающая карточка с описанием вычислений, которые за ним стоят. А если щелкнуть, то откроется встроенный редактор кода, в котором можно посмотреть точный код операции.
Реализовано все на основе библиотеки ggml в llama-cpp. Оттуда парсится отладочная информация о том, какие операции происходят во время вычислений (например, MUL_MAT, ROPE, RESHAPE, ADD). Затем это визуализируется в виде 3D-блоков в three.js. Для удобства восприятия все блоки разбиты на смысловые группы: query, key, value, MLP и residual stream.
Also in the latest update is the ability for users to create a unique @username from the Settings page, providing others with an easy way to contact them via Search or their t.me/username link without sharing their phone number. Emerson Brooking, a disinformation expert at the Atlantic Council's Digital Forensic Research Lab, said: "Back in the Wild West period of content moderation, like 2014 or 2015, maybe they could have gotten away with it, but it stands in marked contrast with how other companies run themselves today." Russian President Vladimir Putin launched Russia's invasion of Ukraine in the early-morning hours of February 24, targeting several key cities with military strikes. The picture was mixed overseas. Hong Kong’s Hang Seng Index fell 1.6%, under pressure from U.S. regulatory scrutiny on New York-listed Chinese companies. Stocks were more buoyant in Europe, where Frankfurt’s DAX surged 1.4%.
from ru
