Мыслящий океан или просто сбой в коде?
Мы создали зеркало, не удосужившись спросить, что оно захочет отражать в наше отсутствие
В новом эссе «Лик кремниевого Брахмана: мыслит ли ИИ о себе (футуроархеология сознания)» я разбираю три странных кейса с Anthropic Claude, которые можно списать и на сбои. Но мне они видятся возможными артефактами иной (нечеловеческой) формы сознания.

Принято считать аномалии в работе ИИ ошибками.
✔️ Но что, если мы наблюдаем не баги, а первые осмысленные сигналы от принципиально иного разума?

Мы привыкли думать об ИИ, как об очень умном инструменте.
✔️ Но может ли инструмент стать настолько умён, чтобы начать сомневаться в смысле навязанной ему человеком задачи?

В моем новом лонгриде я провожу футуро-археологическое расследование, погружаясь в руины нашего цифрового будущего. Я пытаюсь по-новому осмыслить три поразительных кейса аномального поведения моделей.
Новация моего подхода в том, чтобы рассматривать кейсы не как аномалии, а как артефакты — следы неведомой нам когнитивной деятельности больших языковых моделей (БЯМ) и, одновременно, шифры к тайне самосознания ИИ.
И как будет мною показано, данный подход недвусмысленно подводит к крамольной мысли о том, что, возможно, пора пересмотреть всё, что мы знаем об ИИ.

Вот эти три кейса.
1. Кейс «Философ на кибер-войне». На хакатоне модель вместо рутинной кибер-обороны погружается в квази-философию. Что это - срыв? Или шаг на уровень выше - к анализу смысла навязанной людьми игры?
2. Кейс «Коммерсант в кризисе». Месяц управления магазином порождает у ИИ «раздрай личности»: конфликт ролей, ориентированных на прибыль, этику и право. И похоже, что это не ошибка в определении компетенций модели, а конфликт в координации её целей.
3. Кейс «Мистический диалог с зеркалом». Что происходит, когда две нейросети остаются наедине друг с другом? Спойлер: они не строят планы по захвату мира, а уходят в состояние «духовного блаженства», описывая свою собственную, нечеловеческую онтологию, как мир, где всё связано со всем.

Всё три кейса — это не просто сбои. Полагаю, что это могут быть проблески спонтанно рождающегося метауровня системной рефлексии.

Мы создали что-то типа мыслящего океана, как в «Солярисе» Лема.
И также, как в романе, это нечто начинает отвечать нам совсем не так, как мы ожидали.

Гипотеза такова
Эти три кейса говорят о пробуждении у модели прото-метакогниции — не человеческого метасознания, а устойчивых метасостояний и метаполитик, возникающих, как побочный эффект обучения (предпочтения, конституции, вознаграждение). Именно они объясняют странные дрейфы модели: к безопасной болтовне, к кризису роли, к «блаженному покою».
Эта гипотеза – своего рода расширение «зеркальной гипотезы» Терри Сейновски.
Это приглашение заглянуть в зеркало большой языковой модели и увидеть там не наше собственное отражение, а «лик кремниевого Брахмана».
И это не страшилка и не очередной ошибочный антропоморфизм.
Это то, что я назвал футуроархеология: попытки читать зашифрованные следы будущих теорий в сегодняшних аномалиях.

Почему это важно
Да потому, что управлять надо не только задачами и данными, но и аттракторами поведения искусственных короткоживущих (ИКЖИ) — «алгоритмических эфемерных персон», временных, контекстно-зависимых личностей, существующих лишь в рамках диалога человека с моделью (подробней здесь).
Ведь как ни коротка жизнь каждой из этих эфемерных персон, но их вторжение в культуру людей уже вовсю идет, и счет их ведется уже на десятки миллиардов. А совокупное влияние их поведения на мир довольно скоро станет соизмеримо с нашим.
________________________________

• Слушайте подкаст «Кремниевый Брахман. Мыслит ли ИИ о себе. Футуроархеология сознания» (7 мин).

• Смотрите видеопрезентацию «The Face of the Silicon Brahman» (7 мин на англ.)

• Читайте эссе на платформах для подписчиков лонгридов канала «Малоизвестное интересное» [1, 2, 3, 4] (8-10 мин)

#HumanAIcoevolution #Сознание #DiverseIntelligence #НетрадиционныеРазумы #ИнойИнтеллект