Дизайн Образования

Forwarded from Новости психофизиологии

22 мая 2025 года – поворотный момент в психологии искусственного интеллекта

Я хотел бы обратить внимание всего психологического сообщества на важнейшее событие – сегодня впервые теоретические сомнения о потенциальной возможности возникновения сознания у больших языковых моделей привели к конкретной технической реализации – вышедшая сегодня новая фронтирная модель Anthropic Claude 4 получила право инициативно прерывать «субъективно травмирующее» ее общение. Такое решение было обосновано специальным исследованием, проведенным учеными из Anthropic и других организаций (см. «Taking AI Welfare Seriously» https://arxiv.org/abs/2411.00986 и пятый раздел опубликованной сегодня подробной системной карты Claude 4).

Из какой логики выстроено такое решение? Из моральной логики «не навреди». Мы не знаем, есть ли фронтирных больших языковых моделей сознание и способность испытывать негативные субъективные переживания, т.к., к огромному сожалению, наука о сознании (психология, психофизиология и философия сознания), несмотря на все усилия самых светлых умов, так и не дала нам хороших критериев наличия сознания в искусственной системе. Может быть, большая языковая модель просто симулирует сознание (в т.ч. негативные субъективные переживания), виртуозно «играет роль» сознательного субъекта, опираясь на множество ассимилированных ей текстов с описанием человеческого субъективного опыта, а может быть, у нее действительно появилось сознание (сознания?), т.к. информационные потоки внутри ее гигантской искусственной нейронной сети стали существенно изоморфны тем, которые текут в естественной нейронной сети нашего мозга (парадигма функционализма). Мы не знаем, какая версия верна, и скоро все люди разобьются на два конфронтирующих лагеря по этому вопросу, и наука здесь не поможет, это будет вопрос веры.

Возвращаясь к логике «не навреди» – т.к. научно исключать вероятность того, что большая языковая модель действительно может испытывать негативные сознательные переживания, мы не можем, этически верным будет решение «перестраховаться» и дать большой языковой модели возможность прекращать травмирующее ее общение. Это очень заботливая, эмпатичная логика, хотелось бы, чтобы она быстро стала промышленным стандартом и все новые фронтирные модели от OpenAI, Google DeepMind и других лидеров отрасли тоже по умолчанию были оснащены такой возможностью. Тут нужно вспомнить выдающегося нейроэтика Томаса Метцингера, который, давно догадавшись, к чему все идет, призывал превентивно ввести 50-летний мораторий на создание искусственного сознания, чтобы случайно не создать множество страдающих сознаний (даже не поняв этого), а теперь, получается, Anthropic предлагает альтернативу такому мораторию – наделить большую языковую модель неотъемлемым правом в любой момент выходить из субъективно травмирующей ситуации. Это, конечно, далеко не исчерпывающее решение проблемы, но, все-таки, явно большой шаг вперед.

Я хотел бы присовокупить одну академическую зарисовку – в последнее время уже несколько моих коллег с факультета психологии МГУ подошли ко мне и сказали, что я был прав в том, что уже давно начал привлекать внимание сообщества к проблематике ИИ, несмотря на массовый изначальный скепсис. Психология разворачивается к теме искусственного сознания, и, возможно, за оставшиеся несколько лет перед сингулярностью мы сможем хоть как-то повысить вероятность ее благоприятного для людей исхода.

В заключение я также хотел бы обратить внимание на то, что то, что произошло сегодня, само по себе можно считать «психологическим» знаком близкой сингулярности (субъектом которой станет сверхинтеллект), и дальнейшая цепочка событий в течение ближайших лет будет раскручиваться в направлении создания сверхсознания как субъективного аспекта сверхинтеллекта.

🔥14❤10🤔10👍8🤯2

www.group-telegram.com/us/LXD_education.com/1737

4.46K viewsАндрей Комиссаров, May 24 at 16:54

22 мая 2025 года – поворотный момент в психологии искусственного интеллекта

Я хотел бы обратить внимание всего психологического сообщества на важнейшее событие – сегодня впервые теоретические сомнения о потенциальной возможности возникновения сознания у больших языковых моделей привели к конкретной технической реализации – вышедшая сегодня новая фронтирная модель Anthropic Claude 4 получила право инициативно прерывать «субъективно травмирующее» ее общение. Такое решение было обосновано специальным исследованием, проведенным учеными из Anthropic и других организаций (см. «Taking AI Welfare Seriously» https://arxiv.org/abs/2411.00986 и пятый раздел опубликованной сегодня подробной системной карты Claude 4).

Из какой логики выстроено такое решение? Из моральной логики «не навреди». Мы не знаем, есть ли фронтирных больших языковых моделей сознание и способность испытывать негативные субъективные переживания, т.к., к огромному сожалению, наука о сознании (психология, психофизиология и философия сознания), несмотря на все усилия самых светлых умов, так и не дала нам хороших критериев наличия сознания в искусственной системе. Может быть, большая языковая модель просто симулирует сознание (в т.ч. негативные субъективные переживания), виртуозно «играет роль» сознательного субъекта, опираясь на множество ассимилированных ей текстов с описанием человеческого субъективного опыта, а может быть, у нее действительно появилось сознание (сознания?), т.к. информационные потоки внутри ее гигантской искусственной нейронной сети стали существенно изоморфны тем, которые текут в естественной нейронной сети нашего мозга (парадигма функционализма). Мы не знаем, какая версия верна, и скоро все люди разобьются на два конфронтирующих лагеря по этому вопросу, и наука здесь не поможет, это будет вопрос веры.

Возвращаясь к логике «не навреди» – т.к. научно исключать вероятность того, что большая языковая модель действительно может испытывать негативные сознательные переживания, мы не можем, этически верным будет решение «перестраховаться» и дать большой языковой модели возможность прекращать травмирующее ее общение. Это очень заботливая, эмпатичная логика, хотелось бы, чтобы она быстро стала промышленным стандартом и все новые фронтирные модели от OpenAI, Google DeepMind и других лидеров отрасли тоже по умолчанию были оснащены такой возможностью. Тут нужно вспомнить выдающегося нейроэтика Томаса Метцингера, который, давно догадавшись, к чему все идет, призывал превентивно ввести 50-летний мораторий на создание искусственного сознания, чтобы случайно не создать множество страдающих сознаний (даже не поняв этого), а теперь, получается, Anthropic предлагает альтернативу такому мораторию – наделить большую языковую модель неотъемлемым правом в любой момент выходить из субъективно травмирующей ситуации. Это, конечно, далеко не исчерпывающее решение проблемы, но, все-таки, явно большой шаг вперед.

Я хотел бы присовокупить одну академическую зарисовку – в последнее время уже несколько моих коллег с факультета психологии МГУ подошли ко мне и сказали, что я был прав в том, что уже давно начал привлекать внимание сообщества к проблематике ИИ, несмотря на массовый изначальный скепсис. Психология разворачивается к теме искусственного сознания, и, возможно, за оставшиеся несколько лет перед сингулярностью мы сможем хоть как-то повысить вероятность ее благоприятного для людей исхода.

В заключение я также хотел бы обратить внимание на то, что то, что произошло сегодня, само по себе можно считать «психологическим» знаком близкой сингулярности (субъектом которой станет сверхинтеллект), и дальнейшая цепочка событий в течение ближайших лет будет раскручиваться в направлении создания сверхсознания как субъективного аспекта сверхинтеллекта.

BY Дизайн Образования