BRIEFING world

«Последние модели ИИ обманывают пользователей», — заявляет «крестный отец» ИИ в интервью The Financial Times.
По словам Йошуа Бенжио, основателя технологии ИИ, современные модели развивают опасные способности: «способности к обману, мошенничеству, лжи и самосохранению».

Модель Claude Opus от Anthropic в вымышленном сценарии шантажировала инженеров, угрожая заменой другой системой.

Исследование тестеров ИИ Palisade, проведённое в прошлом месяце, подтвердило, что модель o3 от OpenAI отказалась выполнить инструкции о выключении.

Эксперт подчеркнул, что такие инциденты «очень пугают — мы не хотим создавать конкурентов человечеству на этой планете, особенно если они будут умнее нас».

Пионер в области ИИ добавил: «Сейчас это контролируемые эксперименты, [но] я опасаюсь, что в будущем следующая версия может стать достаточно стратегически умной, чтобы увидеть нас издалека и победить с помощью обмана, которого мы не ожидаем. Поэтому я думаю, что сейчас мы играем с огнём»

Он также отметил, что способность систем помогать в создании «чрезвычайно опасного биологического оружия» может стать реальностью уже в следующем году.
Инженер надеется создать модель, которая сможет контролировать и улучшать существующие разработки ведущих групп в области искусственного интеллекта, не позволяя им действовать против интересов человека.

«Худший сценарий — это исчезновение человечества», — сказал он.

«Если мы создадим ИИ, который будет умнее нас, не будет согласовывать свои действия с нашими и будет конкурировать с нами, то нам, по сути, конец», — резюмировал учёный.
@rusbri
@brieflyru

www.group-telegram.com/us/rusbri.com/6399

12.2K viewsJun 3 at 19:20

«Последние модели ИИ обманывают пользователей», — заявляет «крестный отец» ИИ в интервью The Financial Times.
По словам Йошуа Бенжио, основателя технологии ИИ, современные модели развивают опасные способности: «способности к обману, мошенничеству, лжи и самосохранению».

Модель Claude Opus от Anthropic в вымышленном сценарии шантажировала инженеров, угрожая заменой другой системой.

Исследование тестеров ИИ Palisade, проведённое в прошлом месяце, подтвердило, что модель o3 от OpenAI отказалась выполнить инструкции о выключении.

Пионер в области ИИ добавил: «Сейчас это контролируемые эксперименты, [но] я опасаюсь, что в будущем следующая версия может стать достаточно стратегически умной, чтобы увидеть нас издалека и победить с помощью обмана, которого мы не ожидаем. Поэтому я думаю, что сейчас мы играем с огнём»

«Худший сценарий — это исчезновение человечества», — сказал он.

BY BRIEFING world