AI-ассистенты и понимание причин

Джуди Перл, математик, один из пионеров «статистики причин», написал в X/twitter, что поймал ChatGPT на непонимании причинно-следственных связей. Он задал ему вопрос: «Приведи пример реальных переменных A, B и C, когда A и B не коррелируют между собой, но и A, и B скоррелированы с C». И AI провалил тест.

Я тоже его задал, уже обновленному ChatGPT, который o1, и он тоже не словил фишку и сочинил ответ, в котором количество солнечных ожогов не коррелирует с продажей мороженного. А оно должно коррелировать!

Почему этот вопрос важен, чтобы судить о понимании причинно-следственной связи чат-ботами? Для людей – не обязательно, люди на глазок справляются с определением причин, а для чат-ботов это – индикатор. И такой ответ, какой он дает сейчас, сродни «выводу» типа «идет дождь, потому что трава мокрая». Я в следующих постах расскажу подробнее!

Пока AI-ассистенты не умеют правильно отвечать на этот вопрос, они точно не ловят идею причины и следствия. Даже когда научатся отвечать, а натренировать на такие вопросы на стандартном материале их нетрудно, – это тоже не будет гарантировать понимания.

Пусть это будет новым тестом Тьюринга. Пока AI его не проходит, я бы очень осторожно относился к его аналитическим способностям, особенно в сфере организационного консалтинга, хотя в области синтеза он уже очень крут. А в оргконсалтинге выводы должны опираться на причины, а не на индикаторы.

И еще, мне кажется, сейчас мы еще можем спать спокойно – без понимания причинно-следственных связей AI никого не поработит!

#статистикапричин, #aiассистент

Что стоит за корреляцией?

«За любой корреляцией стоит причинно-следственная связь!» – это, конечно, неправда!

«Да тысяча причин, может быть!» – ну, тоже неправда: всего 4 причины.

A и B могут быть скоррелированы если…

I. A влияет на B или B влияет на A. Это как раз то, что мы обычно ищем – причинно-следственная связь. Влияние может быть прямым или через цепочку посредников-медиаторов, других переменных.

II. Есть некоторая переменная C (или несколько), которая, тоже либо напрямую, либо через переменные-посредники влияет и на A, и на B. Это – конфаундер, общая причина A и B.

III. Есть некоторая переменная D, на которую либо напрямую, либо через посредников влияют и A, и B, и которая влияет на отбор наблюдений для эксперимента. Общее следствие, коллайдер, V-structure, selection bias – вызывает корреляцию между A и B только в том случае, если в эксперименте доступна только часть случаев с D.

IV. Ну и случайно. Бывает на маленьких выборках.

Если с конфаундерами и случайностями исследователи понемногу учатся разбираться, то случай III – самый трудный, самый новый, самый широкий. Именно им вызвано большинство противоречий в разных исследованиях одного феномена – в неучете selection bias. Осмелюсь предположить, что невоспроизводимость старых психологических экспериментов из учебников по социальной психологии (типа Стенфордского тюремного эксперимента), вызвана им же.

Влияние случая III на результаты экспериментов огромно, особенно, когда исследователи о нем не знают. Этот же случай ответственен за искажение и социологических исследований, когда исследователи не могут учесть особенности ситуации, в которую поставлены респонденты при проведении опроса. И тогда мы можем увидеть в результатах процент участников, демонстрирующих какую-то позицию, максимально далекий от реальности.

#статистика, #статистикапричин, #конфаундер, #коллайдер

Вебинар о командных ролях по Белбину

Коллеги, добрый день! Через 30 минут, в 15:00 по Москве мы начинаем наш вебинар о работе с моделью командных ролей по Белбину.

Если у вас еще нет ссылки на вебинар, или если вы не регистрировались, но хотите к нам заглянуть, напишите нам на [email protected] – оперативно пришлем вам ссылку!

До встречи!

«О коллегах либо хорошо, либо ничего»

Оценка «360 градусов». Представьте, что мне надо оценить коллегу – просто коллегу, не близкого друга, не начальника, отношения ровные. И вот в опроснике меня ждет очередной вопрос про него: «Приходит на работу вовремя» с вариантами ответа «не знаю», «никогда», «редко», «иногда», «часто», «всегда». А коллега почти всегда опаздывает – ну такой человек. То есть ответ «редко» на этот вопрос как бы самый подходящий.

Но все сложнее!

Отвечу «редко» – я «наябедничаю» на коллегу. Неприятно. Отвечу «всегда» или «часто» – совру. Тоже не очень хотелось бы. И я запросто выбираю «золотую середину» – ответ «не знаю». Я не сторож брату моему.

Это и есть имплицитная стратегия «О коллегах либо хорошо, либо ничего». В разной степени ее можно статистически заметить у 60% (!) всех респондентов – у кого-то сильнее, у кого-то слабее. И она, конечно, искажает результаты – по сути сотрудники подвергают самоцензуре собственную обратную связь, снижая ее ценность.

Что делать?

– что-то типа социального контракта заключать, договариваться с сотрудниками: зачем нужна оценка компании, а что получат участники; ну и следовать этому контракту;

– вводить ограничения при заполнении опросника – по времени, по количеству позитивных/негативных ответов; потенциально это фрустрация для сотрудников, но есть способы ее смягчить;

– использовать знание о применении этой стратегии: раз ее можно «словить» статистически, значит информация о том, в каких коллективах и по каким критериям она используется чаще – наш источник знаний о ценностях и установках в коллективе.

Важно только, чтобы опросник позволял респондентам дать ответ «не знаю»!

#социометрия, #360градусов

Как создаются профессиональные тесты?

Могу ли я просто написать список интересующих меня вопросов и задать их сотрудникам, чтобы после обработки получить интересующие меня показатели для каждого респондента? Скажем, мне интересен процент совпадений с ключевыми ответами у каждого респондента.

Короткий ответ — нет.

Это, конечно, банальный вопрос, но ответ на него заслуживает подробностей – вместе с ответом на сопутствующий «почему».

Почему набор тематических вопросов, даже составленных специалистами, не становится качественным тестом?

Потому что ни один тестолог не может претендовать на точные знания смыслов, которые содержатся в текстах вопросов. Ни один человек в современном мире не может предугадать, что респонденты могут увидеть в тексте вопроса, на что они среагируют. ChatGPT и другие AI-ассистенты тоже, кстати, не могут.

Всего одно слово, добавленное в формулировку, может изменить видимый респондентами смысл на совершенно другой. Какой специалист может это знать заранее? Никакой! Смысл формулировки – по какому свойству она разделяет респондентов – можно понять только через коллективную реакцию, в случае тестов — через пилотное исследование, анализ ответов, ассоциативных связей между вопросами и через расчет надежности и валидности.

#валидность, #психодиагностика

Про перевод тестов

В продолжение вчерашней темы про профессиональные тесты. А что если я переведу вопросы теста с английского? Тест же уже готов!

Ну, в лучшем случае, результат станет менее надежным. Это, правда, лучший и не очень частый случай.

В чем проблема? В культурных различиях, в языке, в представимости и в окраске в нем отдельных смыслов. В русском может не найтись слов для нейтрального описания какой-то ситуации. «A slight misalignment» в английском превращается в немного саркастическое «легкое несоответствие» в русском. А в английском сарказма не было.

Еще один пример: восприятие утверждения «В жизни надо попробовать все». Что приходит вам в голову, когда вам нужно определить степень согласия с этим утверждением? Явно не изучение квантовой физики, правда? И не катание на сноуборде, скорее всего 🙂

Вот мы и отвечаем осторожно, как на провокацию. В русском языке это и есть, отчасти, вопрос-провокация. И почти половина респондентов проявляет осторожность.

А в английском – это обычный вопрос на открытость. Он даже не очень хорошо работает (не разделяет аудиторию), потому что это почти общий «здравый смысл», с которым все согласны. И почти никому не приходит в голову что-то нехорошее. В нашем небольшом исследовании на английском только 12% не согласились с утверждением.

Для адаптации методики с другого языка мало сделать перевод. Нужно пройти тот же путь, что прошли авторы методики, но уже на русском языке. Пилотное исследование, переформулировки, проверка надежности, валидизация.

#валидность, #психодиагностика

Как предсказывать динамику социальных систем

Если коротко — это очень трудно. Предсказать конкретный исход почти невозможно, можно только сравнивать приблизительные оценки вероятностей.

Это только в сериале «Карточный домик» упрёк «Как ты мог не рассчитать последствия?» выглядит серьезным. В реальной жизни мало кто сможет угадать, что будет с коллективом (или с семьей, или с социумом) при сохранении текущей динамики. Даже когда у нас есть модель социальной системы (граф) и когда мы ее динамику разглядели правильно.

Знаете почему? Все дело в эффекте, который называют «перколяция» (percolation) – неожиданно быстром распространении сигнала (идеи) в сети коллектива.

Перколяция — это что-то вроде «фазового перехода», связанного с тем, что некоторая идея захватывает коллектив в один момент и вызывает очень быстрое и существенное изменение состояния системы.

В корпоративном мире перколяция происходит из-за, например, неожиданного прецедента с клиентской жалобой или из-за перехода на удаленную работу, когда ранее действующие методы контроля перестали быть актуальными — у всего коллектива сразу. И все накопившиеся напряжения находят выход в быстром изменении правил игры.

Почему это всегда происходит неожиданно?

Помните, в первые месяцы ковида мы следили за Rt – коэффициентом распространения короновируса? Когда он был меньше единицы, эпидемия затихала, а даже едва заметное превышение единицы – это уже сразу экспоненциальный рост числа заболевших.

В распространении сигналов в социальной сети действуют схожие правила. Только момент «захвата» идеей отдельного человека проходит бессимптомно, в отличие от заболевания ковидом. И у нас нет возможности рассчитать коэффициент, пока он меньше единицы. А как только он пересекает единицу – это сразу становится заметным! Количество перешло в качество, система уже изменилась. Хотя, казалось бы, «ничто не предвещало».

#социальнаясеть, #социальнаядинамика

Кризис «360 градусов»: анонс вебинара

Коллеги, мы проводим очередной вебинар 17 октября в 15:00 МСК

Почему «кризис»? Потому, что в профессиональном сообществе накопилось осознание проблем этого метода. И мы хотим рассказать о путях их решения – технических и организационных.

– об альтернативной форме опросных листов;
– о двухэтапных опросниках;
– об ограничениях на высокие оценки;
– об имплицитных (невербализованных) стратегиях респондентов;
– о «социальном контракте» с сотрудниками при проведении оценки;
– об организации «360 градусов» в форме оценки ценностей;
– об обработке с учетом «уровня экспертизы» оценивающих;
– об альтернативах методу «360 градусов» – о социометрии в целом.

И об анализе корпоративной культуры по результатам «360 градусов» – как дополнение к аккуратно организованной оценке.

Вебинары по четвергам, приходите! Ссылка на регистрацию:

https://azimuth.team/webinar/17oct24/register/insights

Слово “искренний” в словаре Даля

Про смыслы прилагательных

Помните, что фундаментальная проблема в психодиагностике – в неоднозначности определения личностных свойств? У нас даже нет эталона «организованности». А ведь есть и свойства посложнее!

Скажем, «искренность». Что это такое? Искренний человек – это кто? Кто никогда не обманывает и «всегда говорит то, что думает»? Что-то вряд ли. У нас есть совсем другие слова для обозначения такого поведения. 🙂

Есть что-то неуловимо субъективное в таком суждении о человеке, привнесенное наблюдателем. Но мы попробуем уловить! У нас есть семантический граф PSYDIA – результат двухлетнего эксперимента на факультете психологии МГУ. Студенты описывали своих однокурсников на «обычном русском языке», приписывая им описательные характеристики. Типа «умный», «добрый», «отзывчивый», «носит очки». И у нас накопилось более 42 тыс. таких характеристик.

Если какие-то две характеристики часто встречаются вместе в адрес одного человека, мы можем судить об их смысловой связи. Если наоборот, никогда не встречаются вместе – о смысловой противоположности. Именно с помощью этого семантического графа мы попытались разобраться с «общепринятым» смыслом слов.

Итак характеристики, встречающиеся вместе с «искренний»:

«Добрый», «доброжелательный», «мягкий» – это синонимы с самыми сильными связями с «искренним». По-моему, это логично – и можно обобщить как «позитивный настрой к людям» и общение «без подвоха».

«Улыбчивый», «душа компании», «открытый»: ага, тоже понятно – это про готовность коммуницировать, открыто общаться.

«Отзывчивый», «готов помочь»: вот сам никогда бы не подумал. Но с другой стороны, это тоже можно понять: если человек в ответ на просьбу о помощи отвечает, почему помочь не получится, его «искренность» в моих глазах, наверное, заметно понизится!

И очень интересна еще одна смысловая связь – «личность»! Здесь, видимо, идея в том, что под искренностью мы понимаем осознанное поведение.

И обратные характеристики, противоположные «искренности»:

«Своенравный», «самоуверенный»: ничего себе! Никогда бы не подумал. Неискренние думают больше о себе и об имидже, и это заметно окружающим.

«Практичный»: ага, тоже интересно! Искренность, получается, «непрактична» в глазах людей.

«Конформист»: тоже любопытно и можно понять. Подразумевается, что «искренний» человек не побоится пойти против коллектива.

Ну и последнее – «хитрый» и «корыстный»: опять про отсутствие подвохов и скрытых смыслов у «искренних» людей!

Вот такой способ понять смысл.

Но… Получается, при создании теста за смыслом каждого описательного прилагательного будем в семантический граф заглядывать? А не перебор?

В сложных случаях – типа «искренности» – точно не перебор! И обязательно будем!

#психосемантика

«У нас так принято»

Вы, наверное, слышали про эксперимент с обезьянками, которых отучали прыгать за подвешенными вверху клетки бананами при помощи холодного душа?

А потом обезьянок, которых «выучили беспомощности», отсаживали по одной, заменяя новыми, необученными. Попытки новичков достать банан пресекалась уже партнерами по клетке – холодный душ больше не был нужен. И даже тогда, когда в клетке не осталось ни одной «обученной» обезьянки, за бананами никто не прыгал. Потому что «у нас так принято».

Проблема здесь только одна.

ТАКОГО ЭКСПЕРИМЕНТА НИКОГДА НЕ БЫЛО!

Это мем, а не реальный эксперимент. И это легко проверить – попробуйте найти источник!

Его сочинил один бизнес-тренер, приведя в своей книге ссылку «один друг-ученый рассказал мне про эксперимент». Соврал для красного словца. А мем подхватили бизнес-консультанты, он пошёл в народ, был переведен с английского на другие языки и живет своей жизнью до сих пор. Его можно использовать как тест на профессионализм для бизнес-консультантов! 🙂

Реальные эксперименты показывают более сложное поведение даже у собак, не только у обезьян. Не говоря уже о людях, на которых «коллеги» пытались перенести выводы из этого рассказа.

Когда узнаешь, что это неправда, поучительный тон рассказа вызывает уже другие эмоции.

Уважаемые исследователи,

А как бы вы отнеслись к таким результатам исследования? На картинке – слайд со статистикой исследования препарата от сердечной недостаточности.

В таблице сравнивается эффективность этого препарата отдельно у мужчин и у женщин по сравнению с пустышкой-плацебо.

И, некоторое (на самом деле, большое!) чудо в том, что и мужчинам, и женщинам по отдельности от препарата становится хуже. У принимавших лекарство относительная частота сердечных приступов была выше, чем в контрольной группе – у не принимавших лекарство, и среди мужчин, и среди женщин.

А если смотреть в целом (объединив мужчин и женщин), то лекарство хоть и несильно, но все же снижает вероятность сердечного приступа.

Может ли такое быть в реальности? Ну, по цифрам то, конечно, может! Это всего лишь одно из естественных свойств дробей.

А как результат реального эксперимента? Насколько часто такое бывает?

И что значит такой результат и что с ним делать? Что делать в этом конкретном случае: запрещать лекарство или нет? И как понимать результаты в других аналогичных случаях с такими странными данными?

Обрезал название у слайда специально – чтобы не гуглилось ) ответы – завтра.

PS: ChatGPT правильно назвал ситуацию (то самое обрезанное название слайда), но для ее решения предложил «проконсультироваться с экспертами по статистике» 🙂