FT: На рынке США сокращается количество активных венчурных фондов

– От пикового 2021 их количество сократилось на четверть
– Их количество снизилось на 2+ тыс., до 6,2 тыс. фондов
– Эта тенденция дала власть небольшой группе мегафондов
– Более 50% из $71 млрд за 2024 собрали всего 9 фондов
– При этом $25 млрд приходится всего на 4 фонда из США
– Это General Catalyst, AH, Iconiq Growth и Thrive Capital
– Время возврата капитала на рынке сильно увеличилось
– На возврат средств может потребоваться около 10 лет
– При этом собранные $71 млрд стали минимумом за 7 лет
– Это было менее двух пятых от общего объема за 2021
– Примерно 30-50% венчурных фондов могут закрыться

@ftsec

The Stargate Project — $500 млрд на AI дата центры для OpenAI. Мужики серьезно настроены. Финансирует вечеринку вроде как SoftBank, Oracle и правительство США?

https://openai.com/index/announcing-the-stargate-project/

Сэм Альтман конечно молодец. Этот уж в жопу без мыла залезет. Трамп только вступил в должность, а молодой уже в белом доме тусует. Вроде недавно брал у Microsoft $10B в OpenAI, а тут бац и $100B от SoftBank с Oracle под некий Stargate. Ловкач.

Вышла Hunyuan3D 2.0 — нейросеть для генерации и текстурирования 3D-моделей. По ощущениям качество вышло на новый уровень. Вроде как игры с <1M MAU могут использовать модель в коммерческих целях бесплатно.

Попробовать можно здесь: https://huggingface.co/spaces/tencent/Hunyuan3D-2

Код и лицензия: https://github.com/Tencent/Hunyuan3D-2?tab=readme-ov-file

DeepSeek R1

В штатах какое-то безумие на фоне выхода R1. Разошелся слух, что Китайцы обучили свою модель за $6M и понеслась:
- Люди на новостях стали продавать акции бигтеха, рынок пролился
- Менеджеры в корпорациях с ЗП по $1M+ обосрались, ведь им надо выбивать бюджеты на $100M для своих команд
- Трамп вчера говорил про Stargate для OpenAI за $500B, а сегодня deepseek приложение в топ-1 апстора, когда на повестке торговые войны с Китаем, тарифы и баны тиктока

Забавно наблюдать всю эту панику на ровном месте. Оптимизация уже давно идет, GPT-2 можно обучить чуть ли не на тостере. Но за фронтир модели первопроходцы всегда платят больше, потому что метод проб и ошибок требует кучи ошибок, прежде чем найдутся бодрые идеи.

OpenAI Deep Research

Во времена, когда я прикидывался начальником в Сбере, а позже консультировал крупные конторы, я очень радовался наличию там людей, занимавшихся аналитикой рынков, чтением отчетов и прочим бизнес/продуктовым-ресерчем. С одной стороны, без этого сложно запускать компании, продукты, фичи и обосновывать решения. С другой стороны это то, на что мне зачастую не хватало интереса и усидчивости.

Сегодня мужики из OpenAI заанонсили Deep Research — end-to-end fine-tune o3 модели с возможность искать в интернете и собирать информацию 30+ минут. Задаете тему: “Сделай аналитику мобильных приложений для изучения языка”, отвечаете на пару уточняющих вопросов от модели и через 10 минут получаете отчет по рынкам и метрикам.

Работает не только для маркетинга. Можно попросить помочь выбрать лыжи для катания в горах или собрать материалы по научным статьям.

Пока доступно только pro-подписчикам ($200/month). Я сначала попробую купить за счет конторы, а там дальше мб и сам раскошелюсь.

GL&HF аналитикам в корпорациях, фондах, стартапах в 2025.

https://youtu.be/YkCDVn3_wiw?si=KoJsIdLeczeUzWQc

Вы ничего не знаете про AI (NLP), если не читали эти 10 статей

Выбил себе про-план в опенаи, теперь могу делать дип ресерч с кликбейтными заголовками. Потестил на NLP, звучит разумно.


1. Hochreiter & Schmidhuber (1997) – LSTM. Решает проблему исчезающего градиента в RNN, позволяя моделировать длинные зависимости. (LSTM, sequence modeling)

2. Mikolov et al. (2013) – Word2Vec. Ввел плотные векторные представления слов, заложив основу для современных эмбеддингов. (word2vec, embeddings, distributed representations)

3. Charniak (2000) – Probabilistic Parsing. Показал, что вероятностные методы улучшают синтаксический разбор текста. (probabilistic parsing, syntax, NLP pipelines)

4. Bahdanau et al. (2015) – Attention in Seq2Seq. Ввел механизм внимания, улучшив машинный перевод и работу с длинными текстами. (attention mechanism, seq2seq, neural machine translation)

5. Vaswani et al. (2017) – Transformer: Attention Is All You Need. Убрал рекуррентность, введя self-attention, сделав NLP модели быстрее и мощнее. (Transformer, self-attention, deep learning)

6. Devlin et al. (2019) – BERT. Ввел bidirectional attention и pre-training, задав стандарт NLP-моделям. (BERT, masked language modeling, transfer learning)

7. Brown et al. (2020) – GPT-3: Few-Shot Learning. Доказал, что масштабирование параметров улучшает генерацию текста без дообучения. (GPT-3, few-shot learning, autoregressive models)

8. Lewis et al. (2020) – RAG (Retrieval-Augmented Generation). Улучшил генерацию текста, добавив поиск в базе знаний. (retrieval-augmented generation, knowledge-intensive NLP)

9. Christiano et al. (2017) – RLHF (Reinforcement Learning from Human Feedback). Ввел RLHF, позволяя моделям обучаться на человеческих предпочтениях. (RLHF, reinforcement learning, AI alignment)

10. Ouyang et al. (2022) – InstructGPT (RLHF для инструкций). Сделал LLM послушными, научив следовать инструкциям через RLHF. (instruction tuning, RLHF, safe AI)

Пасхалка

Ситуация: сидим с женой, смотрим на ютубе, как индусы копают дом в земле. Деградируем.

И я такой: «Подожди 5 минут, я пойду дам комментарий для австралийского телевидения».

Она хлопает глазами. Да я и сам не ожидал, что они позовут, поэтому и не готовился. Просто пришла смска.

В процессе не всегда понимал, что говорил ведущий, но что-то набалякал. Будет забавно, если это выйдет в эфир. На что только ни пойдёшь ради визы.

Такие дела. Сижу в шоке — индусы сделали аквапарк из глины.

Вы ничего не знаете про AI (Computer Vision), если не читали эти 10 статей

Мне понравилась предыдущая подборка по NLP, поэтому сделал еще одну. Кажется могу теперь подаваться в SEO’шники.

1. Canny (1986) – A Computational Approach to Edge Detection. Формализовал критерии оптимального обнаружения границ, заложив основу для извлечения признаков в компьютерном зрении. (edge detection, feature extraction)

2. Lowe (2004) – SIFT: Scale-Invariant Feature Transform. Ввел SIFT – алгоритм для поиска ключевых точек, устойчивых к изменению масштаба и повороту. (feature detection, keypoints, matching)

3. LeCun et al. (1998) – LeNet-5. Показал, что сверточные нейросети (CNN) могут превосходить традиционные методы для распознавания изображений. (convolutional neural networks, deep learning)

4. Krizhevsky et al. (2012) – AlexNet. Сделал глубокие нейросети мейнстримом, победив в ImageNet 2012. Ввел ReLU, Dropout и массово использовал GPU. (deep learning, CNN, ImageNet)

5. He et al. (2015) – ResNet: Deep Residual Learning. Ввел остаточные связи, позволив тренировать сети 100+ слоев без проблем деградации градиента. (residual connections, deep networks, architecture design)

6. Redmon et al. (2016) – YOLO: You Only Look Once. Превратил детекцию объектов в единую задачу регрессии, сделав ее в разы быстрее. (real-time object detection, one-stage detectors)

7. Chen et al. (2020) – SimCLR: Self-Supervised Learning. Показал, что модели могут учиться без разметки. (self-supervised learning, contrastive learning, representation learning)

8. Dosovitskiy et al. (2020) – Vision Transformer (ViT). Доказал, что трансформеры работают в CV, исключив CNN блоки. (transformers, self-attention, image classification)

9. Radford et al. (2021) – CLIP: Learning from Images and Text. Соединил NLP и CV, обучив модель понимать изображения через текстовые описания. (vision-language models, multimodal AI, zero-shot learning)

10. Tan & Le (2019) – EfficientNet. Предложил эффективный способ масштабирования нейросетей, получив SOTA-результаты при меньших затратах. (efficient architectures, AutoML, model scaling)

MSU

Вчера был на экскурсии в MSU, но не в том, что Moscow State University (МГУ), а в Montana State University. Поразило, что в штате Монтана, где плотность населения всего 3 чел./км², в городе Бозмен с населением 50 000 человек стоит университет, который по качеству не уступает условному Сколково.

На видео я хакнул их систему безмаркерного распознования движений: толстовка болталась при ходьбе на руках.

Видео с визуализациями KV-caching и Multi-head latent attention (MHLA) — важных компонент в успехе DeepSeek.

https://youtu.be/0VLAoVGf_74

Сегодня мы с мужиками выкатили в бету uthana.com — AI для анимирования персонажей.

Работает так:
1. Загружаете своего персонажа с произвольным скелетом
2. Вводите промпт в text-to-motion
3. Скачиваете fbx / glb к себе в Maya / движок и кайфуете

Сверху приделали video-to-motion, animation looping и даже keyword search по датасету на случай, когда AI не вывозит.

В этом году планируем докатить in-betweening (inpainting-редактирование по времени и суставам) и прототип real-time генерации с упором на locomotion в разных стилях, который можно будет дергать из игрового движка.

Видео
Анонс раунда (a16z, $4.3M)
Сайт

Microsoft представила Copilot для видеоигр

Инструмент на базе генеративного искусственного интеллекта Copilot for Gaming будет помогать пользователям Xbox скачивать и проходить игры.

Microsoft заявляет, что Copilot for Gaming сможет анализировать действия игрока в играх, находить ошибки и советовать, как их исправить.

Тестирование начнется в апреле с приложения для мобильных устройств.

https://www.theverge.com/news/628666/microsoft-xbox-copilot-for-gaming

Подкаст про GenAI в анимации

Сходил к мужикам, рассказал про анимации в играх и как их можно генерировать с помощью нейросетей.

Краткое содержание:

- Первые 20 минут можно смело пропустить — там каша.
- С 20-й по 60-ю минуту: что такое анимации и как они устроены.
- На 59-й минуте: почему AI в анимации — это круто (спойлер: SOTA на 1 GPU).
- После 60-й минуты — разговор про нейросетки: VQVAE + LLM, диффузии, real-time и прочее.

Советую слушать на x1.5+

https://devzen.ru/episode-492/

Сгорел.

Фотография сделана в марте 2018. Я прожил в Москве до 22 лет. Март ассоциируется у меня с подвохом, когда в 20-х числах может выпасть метр снега. Вильнюс в этом плане не сильно лучше.

Так вот, сегодня я поехал кататься на велосипеде по Ирвайну и сгорел на солнце за 2 часа. В марте…

Начинает проявляться обратная сторона Калифорнии, к которой жизнь меня не готовила.

Минус Паша Техник. Даже немного грустно стало. Веселый был персонаж.

https://youtu.be/XbQeMaDAr6s?t=78