Вы не готовы к этой новости, но у Ильи Суцкевера выйдет своя коллекция одежды 🐄

Давайте начнем с предыстории. Есть такая известная исследовательница Карина Нгуен. Некотрое время она работала на очень высокой позиции в Anthropic, а потом возглавляла направление исследований и продуктовой разработки в области ИИ-интерфейсов в OpenAI. В частности, она занималась проектами ChatGPT Canvas, Tasks, серией o1–o4, а также обучением с подкреплением.

Так вот примерно неделю назад она объявила, что уходит из стартапа чтобы открыть свой... модный дом, посвященный ИИ. Карина назвала его Maison AGI и сказала, что будет создавать "культурные артефакты эпохи искусственного интеллекта". Карьерный путь что надо.

Сегодня Maison AGI выпустили первый дроп своей дебютной коллекции, разработанной, как оказалось, совместно с Ильей Суцкевером. Сейчас доступно три футболки: The Gaze, Multi-Head и Attention. Вы только посмотрите на этот дизайн.

Кстати, глаз на футболке The Gaze, судя по рекламе, срисован именно с глаза Ильи. А еще в коллекцию войдет та самая панамка, созданная по образцу его головы 😐

В удивительное время живем

https://www.maisonagi.com/shop

Возможно, следующий шаг OpenAI – это ИИ-операционка

Они только что купили Software Applications Incorporated, главным продуктом которых является Sky. Это интерфейс для управления Mac на естественном языке.

Все сотрудники SAI также присоединяются к OpenAI.

Мы строим будущее, в котором ChatGPT не просто отвечает на ваши вопросы, а помогает вам делать вообще все.

Только бы не очередной бесполезный агент 🙏

Как работает умная камера с Алисой в чате

У Яндекса в нейросети Алисе уже некоторое время существует бесплатная фича "умная камера". И она не просто распознает изображения и отвечает на вопросы, а может, например: тут же найти товар, как на фото и рассказать вам о характеристиках; решить уравнение с картинки; скопировать для вас текст с изображения или перевести его прямо в камере; и многое другое.

Сегодня мы решили сделать небольшой ликбез по тому, как вообще работают такие системы, и даже поговорили для этого с ребятами из Яндекс.

Итак. В основе всего, конечно, VLM – Vision Language Model (в быту – мультимодальная LLM). В начале у нас есть обычная LLM, которую мы должны как-то научить воспринимать картинки. Как это сделать?

1. Берем какой-нибудь image encoder. То есть модель, которая умеет смотреть на картинки и выдавать для них эмбеддинги (набор фичей).

2. К сожалению, эти эмбеддинги нельзя подавать в LLM сырыми. Так как image encoder – это другая модель, векторные пространства будут отличаться слишком сильно, и наша LLMка в жизни не поймет, что от нее хотят. Поэтому добавляем еще адаптер – несколько слоев, которые будут проецировать наши картиночные эмбеддинги в текстовые.

3. Вот теперь все это вместе можно обучать. Для обучения требуется претрейн VLM, SFT и RL.

Все, можно пользоваться? Еще нет. У этой VLM все еще не спросишь, например, "где купить такие кеды?". Для этого к ней нужно прикрутить дополнительный пайплайн и инструменты. Добавляется:

1. Визуальный поиск. Если у модели не хватает знаний об изображении, она может сходить с ним в поиск и вытащить из него теги. Например: "Кеды, Nike, Blazer, мужские".

2. Дальше отрабатывает VLM-рефрайзер. Он собирает из всего предыдущего контекста нужную информацию и добавляет во внутренний промпт. Например: "размер 43".

3. Все вместе отправляется в текстовый поиск, в котором агент находит ссылки на подходящие модели.

И только после этого вся найденная информация соединяется в единое целое с помощью VLM-суммаризатора. Работает все это около 2-3 секунд. И, к слову, всю эту конструкцию еще дополнительно тюнят на пользовательские предпочтения.

Вот такая техническая мякотка одной небольшой фичи нейросети Алисы 👍

Датацентры могут перенестись в космос

Nvidia заключили очень занятную сделку со стартапом под названием Starcloud. Они планируют начать создавать датацентры на орбите Земли. Утверждается, что у таких кластеров есть целый ряд преимуществ:

1. Можно экономить на охлаждении. На Земле приходится тратиться на воду, а в космосе можно использовать вакуум как почти бесконечный радиатор. Это работает за счёт теплоотдачи через инфракрасное излучение.

2. На орбите можно активнее использовать солнечную энергию. Снова экономия.

3. Минимальный углеродный след. Пишут, что выбросы CO₂ можно сократить аж в 10 раз.

Короче, даже с учётом расходов на запуск Starcloud считает, что энергозатраты будут примерно в 10 раз меньше, чем на Земле.

Уже в ноябре они планируют запустить спутник с GPU размером примерно с холодильник, а в долгосрочной перспективе хотят построить датацентр мощностью 5 гигаватт.

Это примерно 4 квадратных километра GPU Nvidia, летающих в космосе 👀

Интересная статья из Nature про то, как один ИИ учил другой

Возможно, вы уже что-нибудь слышали про мета-обучение. Нынче это довольно модно.

Суть в том, что вместо того, чтобы учить одну модель, мы учим две. Первую – обычную, а вторую (мета-модель) – чтобы регулировать, как учится первая.

То есть в процессе обучения мета-модель подбирает гиперпараметры и алгоритмы, которые используются для того, чтобы учить базовую модель. Получается, что обучение эволюционирует, и система учится, как лучше учиться 👥

Здесь эту идею взяли и применили для RL. Технически, получается два уровня обучаемых параметров. Первый – это обычная политика нашего агента. Второй – мета-параметры, которые определяют, по какому правилу будет обновляться политика.

Для того, чтобы оптимизировать мета-параметры, мы запускаем много агентов с разными политиками в разных средах. Их опыт – это данные для обучения мета-модели. Чем больше она видит таких данных, тем лучше становится правило обновления и, следовательно, тем эффективнее она учит агентов.

Итог: таким подходом авторам удалось синтезировать алгоритм обучения, который превзошел предыдущие человеческие решения. На игровом бенчмарке Atari обученный с его помощью агент выбил соту.

Конечно, компьюта на такие достижения нужно просто море + не факт, что если стрельнуло в одной области, стрельнет и в другой. Но занятно, занятно.

И кстати, это уже сингулярность? 😛

Создай ML-модель, которую оценит продюсер «Слова пацана»

На хакатоне Wink AI Challenge участников ждут задачи, которые ускорят производство фильмов и сериалов за счёт прикладных AI-решений. Призовой фонд — 1 125 000 рублей.

🗓 Регистрация открыта до 31 октября включительно

ML-инженеры, backend- и frontend-разработчики, DevOps, MLOps и мультимедиа-инженеры — ваш выход. Алгоритм такой:
→ Получи настоящий сценарий кинофильма.
→ Распознай персонажей и локации с помощью NER и NLP-моделей.
→ Разработай ИИ-сервис, который умеет интерпретировать сценарий и предлагать оптимальные решения для киноиндустрии.

Задачи хакатона:
🔸 Построй модель зависимости между сценами и структурируй сценарий.
🔸 Преврати текст в эскизы с помощью text-to-image для создания превизуализации сценария.
🔸 Создай решение, которое классифицирует контент и находит сцены, влияющие на возрастной рейтинг.

Твой ИИ-сервис оценят и будут использовать продюсеры популярных российских фильмов и сериалов: «Слово пацана», «Ёлки», «Фишер» и многих других. Финал пройдёт в Москве — двум участникам из команды Wink оплатит билеты и проживание.

Регистрируйся на первый в России хакатон по применению ИИ в кинопроизводстве и разработай решение, которое станет частью создания фильмов и сериалов: https://cnrlink.com/winkaichallengedatasecrets