Warning: mkdir(): No space left on device in /var/www/group-telegram/post.php on line 37
Warning: file_put_contents(aCache/aDaily/post/technologies_trends/--): Failed to open stream: No such file or directory in /var/www/group-telegram/post.php on line 50 📈 ТехноТренды: Технологии, Тренды, IT | Telegram Webview: technologies_trends/257 -
На семинаре AIRI рассказали про работу трансформеров в рамках доклада «Современные трансформеры для видео и не только».
На презентации (см. фото) сравнили три подхода: RNN, Attention, SSM.
Особое внимание привлекают SSM — модели, которые могут стать альтернативой классическим трансформерам.
SSM (State Space Models) и новая модель Mamba предлагают линейную сложность и локальную рекурсию, что делает их особенно эффективными для длинных последовательностей. Это открывает путь к более быстрому и экономичному инференсу, что особенно важно для работы с видео, аудио и другими типами данных, требующих мгновенного анализа в режиме реального времени.
👉Важно: исследование Гарварда указывает, что трансформеры по-прежнему лучше показывают себя в задачах с долгосрочной памятью (например, копирование и повтор). Так что SSM пока — не полноценная замена, а скорее мощное дополнение.
Репозиторий: • Mamba на GitHub — с туториалами, Colab-ноутбуками и готовыми весами.
На семинаре AIRI рассказали про работу трансформеров в рамках доклада «Современные трансформеры для видео и не только».
На презентации (см. фото) сравнили три подхода: RNN, Attention, SSM.
Особое внимание привлекают SSM — модели, которые могут стать альтернативой классическим трансформерам.
SSM (State Space Models) и новая модель Mamba предлагают линейную сложность и локальную рекурсию, что делает их особенно эффективными для длинных последовательностей. Это открывает путь к более быстрому и экономичному инференсу, что особенно важно для работы с видео, аудио и другими типами данных, требующих мгновенного анализа в режиме реального времени.
👉Важно: исследование Гарварда указывает, что трансформеры по-прежнему лучше показывают себя в задачах с долгосрочной памятью (например, копирование и повтор). Так что SSM пока — не полноценная замена, а скорее мощное дополнение.
Репозиторий: • Mamba на GitHub — с туториалами, Colab-ноутбуками и готовыми весами.
Investors took profits on Friday while they could ahead of the weekend, explained Tom Essaye, founder of Sevens Report Research. Saturday and Sunday could easily bring unfortunate news on the war front—and traders would rather be able to sell any recent winnings at Friday’s earlier prices than wait for a potentially lower price at Monday’s open. And while money initially moved into stocks in the morning, capital moved out of safe-haven assets. The price of the 10-year Treasury note fell Friday, sending its yield up to 2% from a March closing low of 1.73%. Telegram has become more interventionist over time, and has steadily increased its efforts to shut down these accounts. But this has also meant that the company has also engaged with lawmakers more generally, although it maintains that it doesn’t do so willingly. For instance, in September 2021, Telegram reportedly blocked a chat bot in support of (Putin critic) Alexei Navalny during Russia’s most recent parliamentary elections. Pavel Durov was quoted at the time saying that the company was obliged to follow a “legitimate” law of the land. He added that as Apple and Google both follow the law, to violate it would give both platforms a reason to boot the messenger from its stores. He floated the idea of restricting the use of Telegram in Ukraine and Russia, a suggestion that was met with fierce opposition from users. Shortly after, Durov backed off the idea. In addition, Telegram's architecture limits the ability to slow the spread of false information: the lack of a central public feed, and the fact that comments are easily disabled in channels, reduce the space for public pushback.
from ms
