Warning: mkdir(): No space left on device in /var/www/group-telegram/post.php on line 37
Warning: file_put_contents(aCache/aDaily/post/technologies_trends/--): Failed to open stream: No such file or directory in /var/www/group-telegram/post.php on line 50 📈 ТехноТренды: Технологии, Тренды, IT | Telegram Webview: technologies_trends/257 -
На семинаре AIRI рассказали про работу трансформеров в рамках доклада «Современные трансформеры для видео и не только».
На презентации (см. фото) сравнили три подхода: RNN, Attention, SSM.
Особое внимание привлекают SSM — модели, которые могут стать альтернативой классическим трансформерам.
SSM (State Space Models) и новая модель Mamba предлагают линейную сложность и локальную рекурсию, что делает их особенно эффективными для длинных последовательностей. Это открывает путь к более быстрому и экономичному инференсу, что особенно важно для работы с видео, аудио и другими типами данных, требующих мгновенного анализа в режиме реального времени.
👉Важно: исследование Гарварда указывает, что трансформеры по-прежнему лучше показывают себя в задачах с долгосрочной памятью (например, копирование и повтор). Так что SSM пока — не полноценная замена, а скорее мощное дополнение.
Репозиторий: • Mamba на GitHub — с туториалами, Colab-ноутбуками и готовыми весами.
На семинаре AIRI рассказали про работу трансформеров в рамках доклада «Современные трансформеры для видео и не только».
На презентации (см. фото) сравнили три подхода: RNN, Attention, SSM.
Особое внимание привлекают SSM — модели, которые могут стать альтернативой классическим трансформерам.
SSM (State Space Models) и новая модель Mamba предлагают линейную сложность и локальную рекурсию, что делает их особенно эффективными для длинных последовательностей. Это открывает путь к более быстрому и экономичному инференсу, что особенно важно для работы с видео, аудио и другими типами данных, требующих мгновенного анализа в режиме реального времени.
👉Важно: исследование Гарварда указывает, что трансформеры по-прежнему лучше показывают себя в задачах с долгосрочной памятью (например, копирование и повтор). Так что SSM пока — не полноценная замена, а скорее мощное дополнение.
Репозиторий: • Mamba на GitHub — с туториалами, Colab-ноутбуками и готовыми весами.
Such instructions could actually endanger people — citizens receive air strike warnings via smartphone alerts. "And that set off kind of a battle royale for control of the platform that Durov eventually lost," said Nathalie Maréchal of the Washington advocacy group Ranking Digital Rights. Andrey, a Russian entrepreneur living in Brazil who, fearing retaliation, asked that NPR not use his last name, said Telegram has become one of the few places Russians can access independent news about the war. Emerson Brooking, a disinformation expert at the Atlantic Council's Digital Forensic Research Lab, said: "Back in the Wild West period of content moderation, like 2014 or 2015, maybe they could have gotten away with it, but it stands in marked contrast with how other companies run themselves today." But Telegram says people want to keep their chat history when they get a new phone, and they like having a data backup that will sync their chats across multiple devices. And that is why they let people choose whether they want their messages to be encrypted or not. When not turned on, though, chats are stored on Telegram's services, which are scattered throughout the world. But it has "disclosed 0 bytes of user data to third parties, including governments," Telegram states on its website.
from id
