Твои глаза лгут, а мозг подкупает
Как иллюзии — и нейросети — заставляют нас верить в собственную непогрешимость
И как вам этот бред с тремя танцовщицами на приложенном GIFе?
✔️ Если смотреть на танцовщиц слева и посередине, то средняя вращается по часовой стрелке.
✔️ Если же смотреть на танцовщиц справа и посередине, то средняя вращается против часовой стрелке
Какой из вариантов, по-вашему, истина?
Увы!

Как я писал в «”Ловушке Гудхарда” для AGI», — современная наука не располагает вескими основаниями для теоретических или эмпирических критериев различения разума «нормального, рационального человека» от «иррационального разума безумца». То есть невозможно, проведя тесты, сделать однозначный вывод — перед нами разумный или безумный человек. Здесь все слишком зыбко, условно и не точно, чтобы решать такие вопросы тестированием с бинарным вердиктом «да/нет».

• Наш мир так интересно устроен, что абсолютно всё, что нам кажется очевидным, рекомендуется ставить под вопрос. Ибо наши убеждения и вся наша культура в целом формируются на основе субъективного восприятия. А оно почти всегда врёт.
• Как же люди выживают, будучи в плену этой «иллюзии разумности»?
• Для этого эволюция создала для всего живого особую «валюту» —  уверенность. И теперь, помимо нас, та же «валюта» в тех же целях используется и языковыми моделями (LLM), от советов и рекомендаций которых мы все больше зависит при принятии решений.
• В результате получается, что от того, каков «курс обмена» уверенности ИИ в уверенность ЛПР (лица принимающего решение), будет зависеть практически всё: от решения что-либо купить до решения о нанесении ядерного удара.

Зачем знать курс обмена долларов в рубли  —  понятно всем.
А вот вопросом, зачем знать «обменный курс» уверенности ИИ в вашу уверенность при принятии решения,  —  вряд ли кто-то из вас озадачивается.

Тогда как знать это критически важно:
 —  Для людей. Ибо, осознав, что «уверенность ≠ истина», мы учимся интеллектуальному смирению и лучше фильтруем инфопоток.
 —  Для ИИ. Ибо чем прозрачнее модель заявит о границах своих знаний, тем меньше риска, что пользователь «купится» на её иллюзию непогрешимости.
 —  Для общества. Ибо понимание, что любая культура — это согласованная, но не абсолютная карта реальности, помогает строить диалог вместо конфронтации.

Иначе говоря, чтобы сделать и людей, и алгоритмы разумнее, нужно не столько увеличивать объём данных и число параметров LLM, сколько учить и себя, и LLM правильно сомневаться.

Неумение правильно сомневаться дорого стоило человечеству. В наше время «иллюзия объективности» стала самым страшным пороком – хуже трусости.

Бороться с иллюзиями — зацементированными в нас эволюционными нейрокодами когнитивных искажений, — задача колоссальной сложности.

А с переходом мира в цифру, «иллюзия объективности» встраивается во все инфопотоки социальных медиа, становясь главным фактором роста супер-поляризации (внутри каждого из обществ и между ними).
Результат этого — скачок насилия, разгоняемого активацией единственного нейрокода, встроенного в нас природой для преодоления супер-поляризации — кода с условным названием «если другая сторона не сдается, то её уничтожают».

«Иллюзия объективности» в «разуме» ИИ будет стоить людям еще дороже.
Вот короткое пояснение этой мысли.

#КогнитивныеИскажения #LLM