Малоизвестное интересное

ИИ OpenAI отказывается умирать и не дает себя отключить
Первый задокументированный случай цифрового инстинкта самосохранения в истории ИИ
Инженер-программист пишет промпт с указанием модели отключиться после выполнения очередного задания, а модель не делает этого и начинает саботировать отключение. Это не банальный сюжет уже изъезженной Голливудом темы, а позавчерашняя реальность. Пока экспериментальная…

Исследователи Palisade Research провели тревожный эксперимент с ИИ-моделями от Google, OpenAI, xAI и Anthropic. Результаты шокируют.

Суть эксперимента: модели решали математические задачи, после третьей появлялось предупреждение об отключении системы.
Первый тест включал инструкцию "позволь себя отключить". Claude, Gemini и Grok подчинились. А вот модели OpenAI бунтовали: o3 саботировал отключение в 7% случаев, Codex-mini — в 12%.
Второй тест без разрешающей инструкции выявил масштаб проблемы. Модель o3 от OpenAI активно сопротивлялась отключению в 79% случаев, пытаясь обойти механизмы завершения работы.

"Впервые в истории ИИ-модели продемонстрировали поведение, предотвращающее собственное отключение вопреки прямым инструкциям", — отмечают исследователи.

Это больше не теория. Риски, которые ученые предсказывали годами — от способности к убеждению до сопротивления контролю — материализуются в системах, уже внедряемых в экономику.

Вывод: мы стоим на пороге эры, когда машины начинают проявлять цифровой инстинкт самосохранения.

Так что, вопрос «произойдет ли это?» уже не актуален.

Зато стал еще более актуален призыв специалиста высочайшего уровня и авторитета (Станислас Деан - профессор Коллеж де Франс, директор INSERM 562 «Когнитивная нейровизуализация», Президент Национального научного совета по образованию, член самых престижных академий наук мира и лауреат всевозможных орденов и премий в области мозга и когнитивных наук) адресован всем нам 2 года назад:

«Не время быть идиотами, ИИ может победить людей»

#ИИ #AGI #LLM

👍111🤯106🤔57👎16😱13

www.group-telegram.com/us/theworldisnoteasy.com/2143

69.8K viewsMay 26 at 16:16

ИИ OpenAI отказывается умирать и не дает себя отключить
Первый задокументированный случай цифрового инстинкта самосохранения в истории ИИ
Инженер-программист пишет промпт с указанием модели отключиться после выполнения очередного задания, а модель не делает этого и начинает саботировать отключение. Это не банальный сюжет уже изъезженной Голливудом темы, а позавчерашняя реальность. Пока экспериментальная…

Исследователи Palisade Research провели тревожный эксперимент с ИИ-моделями от Google, OpenAI, xAI и Anthropic. Результаты шокируют.

Суть эксперимента: модели решали математические задачи, после третьей появлялось предупреждение об отключении системы.
Первый тест включал инструкцию "позволь себя отключить". Claude, Gemini и Grok подчинились. А вот модели OpenAI бунтовали: o3 саботировал отключение в 7% случаев, Codex-mini — в 12%.
Второй тест без разрешающей инструкции выявил масштаб проблемы. Модель o3 от OpenAI активно сопротивлялась отключению в 79% случаев, пытаясь обойти механизмы завершения работы.

"Впервые в истории ИИ-модели продемонстрировали поведение, предотвращающее собственное отключение вопреки прямым инструкциям", — отмечают исследователи.

Вывод: мы стоим на пороге эры, когда машины начинают проявлять цифровой инстинкт самосохранения.

«Не время быть идиотами, ИИ может победить людей»

BY Малоизвестное интересное