Все о блокчейн/мозге/space/WEB 3.0 в России и мире

Андрей Карпатый: сегодняшние ИИ-агенты очень слабые, через ~10 лет агенты станут по-настоящему полезными для сложных задач.

Экс-директор по ИИ в Tesla и сооснователь OpenAI дал большое интервью, мы по частям разберем его в несколько постов. #часть1

Карпатый говорит, что сегодняшняя вера в агентов ведёт к горам плохого кода, уязвимостям и техдолгу. Цена ошибки в софте высока, как в автономном вождении. Нам нужны девятки надёжности: от 90% к 99.9% — это долгий путь.

Что не так с ИИ-агентами?

1. Ограниченный интеллект. Claude или Codex напоминают ему "детей-савантов" — отличная память, но слабое понимание контекста. Они справляются с шаблонными задачами, но проваливаются на уникальных или сложных проектах.

2. Отсутствие мультимодальности. Агенты пока не умеют полноценно взаимодействовать с компьютером, как человек — понимать интерфейсы, видеть экран, координировать действия.

3. Нет долговременной памяти. Каждый запрос — как новый старт. Модели не учатся на предыдущих взаимодействиях, сбрасывая контекст после каждой сессии.

4. Когнитивные пробелы. Им не хватает интуиции и гибкости для реальных задач.

Где агенты работают, а где — нет. Тестируя агентов на проекте nanochat, Карпатый выделил их сильные и слабые стороны:
1. Где хороши: шаблонный код, документация, работа с незнакомыми языками (например, Rust).
2. Где проваливаются: уникальный код, нестандартные решения, задачи, требующие глубокого понимания.

Проблемы:
- Непонимание контекста: модели предлагают стандартные решения, даже если вы объясняете, что нужно иное.
- Раздувание кода: лишние try-catch, избыточная сложность.
- Устаревшие знания: использование deprecated API, что требует ручной чистки.

Как Карпатый использует ИИ?
Он предпочитает автодополнение, где человек остаётся архитектором, а модель лишь ускоряет процесс. Это быстрее и надёжнее, чем vibe coding.

Чего он ждёт от агентов будущего?
- агенты должны объяснять код, доказывать его корректность, спрашивать, если не уверены.
- небольшие куски кода, которые легко понять и проверить.
- инструменты, которые помогают расти, а не просто выдают готовый код.
- модели должны учиться на взаимодействиях и сохранять контекст.
- агенты могли бы создавать задачи друг для друга, чтобы учиться и улучшаться.

Где заработют агента первыми? в call-центрах с чёткими задачами и закрытым контекстом, но даже там потребуется контроль людей.

Dwarkesh

Andrej Karpathy — AGI is still a decade away

"The problems are tractable, but they're still difficult”