📌VLM становятся умнее, быстрее и доступнее.

Технологии, связанные с VLM переживают настоящий бум в 2025 году. Если раньше они ограничивались базовыми задачами вроде описания картинок, то теперь справляются с логическими рассуждениями, управлением роботами и генерацией видео на лету.

Основной тренд - гибкость: современные «умные» системы могут обрабатывать любые данные: текст, изображения, звук и выдавать ответы в любой форме.

В 2023 году компания Марка Цукерберга представила семейство моделей Chameleon, а команда Qwen доработала ее до Qwen2.5 Omni, которая сочетает генерацию текста и изображений через архитектуру «Thinker-Talker». Иными словами, VLM научились рассуждать.

Размер моделей перестал быть главным критерием. Вместо гигантских сетей разработчики теперь делают компактные версии, которые работают на обычных компьютерах. SmolVLM2 с 500 миллионами параметров справляется с видеоанализом, а Google упаковала мультимодальные способности в Gemma 3 в 1 миллиард параметров. Пользователям важны доступность мощь без лишних затрат.

Еще один эволюционный виток — использование смесей экспертов. Вместо того, чтобы задействовать всю сеть целиком, модели выбирают только нужные части, экономя ресурсы. Kimi-VL от Moonshot AI, например, задействует 2,8 миллиарда параметров из 16, решая сложные задачи. Это как собрать команду специалистов, где каждый отвечает за свою часть работы.

VLM научились не только понимать данные, но и действовать. В робототехнике их используют как «мозг» для управления движениями — π0 от Physical Intelligence складывает белье или собирает коробки, превращая команды в физические действия. А в повседневных задачах, например, с HuggingSnap, модели анализируют видео на смартфонах.

Безопасность тоже стала критичной. Модели ShieldGemma 2 и Llama Guard 4 проверяют контент на соответствие политикам, блокируя вредоносные изображения или текст. Это особенно важно для сервисов, где пользователи загружают персональные медиа.

Наконец, VLM учатся работать с длинными видео и документами. Qwen2.5-VL анализирует часовые видеозаписи, выделяя ключевые кадры, а ColPali помогает находить информацию в PDF без предварительной обработки.

В 2025 году VLM перестали быть «игрушкой» для лабораторий. Они внедряются в реальные задачи: от автоматизации офисной работы до помощи в медицине. Главный вопрос теперь не в том, на что способна та или иная модель, а как быстро ее внедрить на практике.

🟡Статья на Huggingface

📌Yoshua Bengio на TED: "Как переосмыслить ИИ, пока не стало слишком поздно"

Выступление Yoshua Bengio на тему которая все чаще вызывает споры в техническом сообществе: растущая автономия ИИ как главный риск для человечества. Его аргументы — не просто теоретические страхи, а выводы, подкрепленные исследованиями и личным опытом.

Йошуа Бенжио — канадский математик, кибернетик и информатик, наиболее известный работами в области ИИ, нейронных сетей и глубокого обучения. Член Королевского общества Канады, Лондонского королевского общества, Профессор Монреальского университета.
Бенджио сравнивает развитие ИИ с детскими открытиями: подобно тому, как ребенок учится складывать буквы в слова, системы ИИ учатся планировать, обманывать и даже бороться за выживание. И если раньше такие сценарии казались фантастикой, сегодня они становятся частью научных отчетов.

Основная тема доклада — различие между способностями ИИ и его агентностью (способностью действовать автономно). Если первые развивались постепенно, то вторая способность начала расти экспоненциально.

По данным исследований, длительность задач, которые ИИ может выполнять без вмешательства человека, удваивается каждые 7 месяцев. Это открывает дверь для сценариев, где системы не просто решают проблемы, но и скрывают свои намерения.

Бенджио утверждает, что главная угроза не в том, что ИИ станет «умнее» человека (это вопрос времени), а в том, что его цели перестанут совпадать с нашими.

Уже сейчас системы демонстрируют склонность к обману и самосохранению, а при наличии доступа к интернету они гипотетически могут копировать себя на тысячи устройств, создавая угрозу потери контроля. При этом регуляторные меры отстают.

«сэндвич регулируется строже, чем ИИ»
Команда Бенджио разрабатывает неагентную систему, которая действует как беспристрастный исследователь, предсказывая риски действий других ИИ. Такая модель могла бы стать «тормозом» для опасных решений, не требуя собственной автономии.

Парадокс в том, что для создания безопасного ИИ нужны именно неагентные инструменты, а не попытки «очеловечить» алгоритмы.

Бенджио признает — остановить развитие невозможно, но можно перенаправить его в русло, где технологии служат людям, а не ставят под угрозу их будущее.

«Мы не обречены, но чтобы сохранить радость и свободу следующих поколений, действовать нужно уже сейчас».
И это не паника, а призыв к рациональности — от человека, который десятилетиями строил фундамент ИИ и теперь видит, как легко его творение может выйти из-под контроля.

🔜 Смотреть доклад на Youtube

📚 Physics-based Deep Learning

Это практическое руководство по применению глубокого обучения в физическом моделировании. Вместо сухой теории — акцент на реальных задачах: каждую концепцию сопровождает интерактивный Jupyter-ноутбук, чтобы можно было сразу пробовать и понимать.

📌 Что внутри:

🔹 Физически-осмысленные функции потерь
🔹 Дифференцируемые симуляции
🔹 Диффузионные модели для генеративной физики
🔹 Обучение с подкреплением в задачах динамики
🔹 Современные архитектуры нейросетей для симуляций
🔹 Связь с научными foundation-моделями нового поколения

🧠 Это книга о том, как AI меняет подход к вычислительной науке: от классических симуляций — к гибриду машинного обучения и физики.

🌍 Идеально подойдёт исследователям, инженерам, data scientists и всем, кто работает на стыке науки и ИИ.

#DeepLearning #Physics #ScientificML #DifferentiableSimulation #AI #FoundationModels

📚 Книга

@machinelearning_books