Капли ртути

Оценка научных результатов: маятник между экспертизой и наукометрией - часть 2
(часть 1, часть 2, часть 3)

Первая ключевая человеческая проблема — это «доброта» и «сочувствие». Причем именно в кавычках. Если раскрыть её одной фразой: никто не хочет быть плохим. Абстрактно все за чистоту науки. Абстрактно все за то, чтобы все ученые чисто делали свою науку, все статьи были аккуратны, а все диссертации и дипломы осмысленны. Но в реальном мире это значит, что во время экспертизы лично тебе надо проголосовать против кого-то и лишить этого человека работы, гранта, стипендии, диссертации или диплома. Я знаю случаи, когда очень сильные ученые переаттестовывали кого-то со словами «да, это слабый ученый и всегда им был, да человек 20 лет почти на работу не ходит, но не выбрасывать же его на улицу». Я видел, как люди со статьями в топовых журналах писали положительные рецензии на очень слабые работы не потому, что как-то боялись автора или ждали, что им вернут этот должок, а потому, что «ну он человек хороший и ученый тоже, ну слабая работа, но ему же по грантам отчитываться, да и жалко обижать». Про оценки на студенческих дипломах даже вспоминать не буду. Понятно, что есть разумный компромисс между «бездушной эффективностью» и «милосердием». Но я часто видел, как этот баланс отсутствует напрочь. Моя позиция по этому вопросу довольно жесткая. Описанное — не проявление доброты, а желание сохранить свой личный психологический комфорт. Во-первых, это откровенное пренебрежение долгом перед наукой и научным сообществом, который люди на себя взяли, войдя в любой экспертный совет. Не готовы выносить честную экспертную оценку — не соглашайтесь быть экспертом. Во-вторых, это еще и развращающая практика для объектов такой «доброты». Я думаю, что довольно много талантливых ученых были загублены тем, что их в свое время несколько раз не «щелкнули по носу» объективной оценкой их работы.

Вторая человеческая проблема - это банальный перекос оценки в сторону «знакомых», зачастую неосознанный. Когда надо из 100 заявок выбрать 10 победителей, то обычно это значит, что где-то 30 фаворитов плюс-минус сопоставимы. И зачастую у 10 экспертов есть среди этих 30 фаворитов 10 знакомых. Которые точно молодцы. Объективно молодцы. И как-то так получается, что их они и выбирают. Но точно ли выбранные были более молодцы, чем оставшиеся фавориты? Я подчеркну, это естественный для человека перекос в пользу знакомых, сюда не надо подмешивать откровенный лоббизм и кумовство, чтобы это так работало. Опять же, я много раз был свидетелем того, как очень принципиальные люди совершали такую ошибку. И если обратить внимание на это и спросить «а как же кандидат 11», то они честно признавали, что «ну да, пожалуй, этот посильнее». Ключевое тут — обратить внимание. Что подсказывает «что с этим делать».

Третья проблема — совсем уж банальная — лень, усталость и недостаток времени. В реальном мире эксперты не станут досконально и скрупулезно рассматривать всех кандидатов. В лучшем случае сделают это лишь для нескольких. Эксперты на то и эксперты, что всем нужна их экспертиза. И запросы их учеников, лаборатории, института и друзей ученых обычно имеют приоритет выше, чем любая внешняя экспертиза. Исключения бывают, но собрать экспертный совет из одних исключений — утопия. Что опять же упирается в то, как обратить внимание экспертов на ключевые вещи.

Что с этим делать

Мой опыт организации экспертиз и наблюдения за поведением экспертов привел меня к следующему выводу: любая система обязана учитывать человеческий фактор и быть устойчива к его проявлениям. Никогда, ни в каком из миров система, которую может принципиально вывести из строя рядовой (а не злонамеренный и сильный) человеческий фактор, не будет работать нормально.
В случае научной экспертизы нам надо побороть описанное выше:
1) Осознанные и неосознанные перекосы в пользу друзей и знакомых.
2) Малодушное желание быть хорошеньким.
3) Отсутствие у экспертов сил и времени супер детально все изучить.

www.group-telegram.com/hk/mercury_octave.com/36

1.5K viewsedited  Aug 12, 2024 at 16:22

Оценка научных результатов: маятник между экспертизой и наукометрией - часть 2
(часть 1, часть 2, часть 3)

Первая ключевая человеческая проблема — это «доброта» и «сочувствие». Причем именно в кавычках. Если раскрыть её одной фразой: никто не хочет быть плохим. Абстрактно все за чистоту науки. Абстрактно все за то, чтобы все ученые чисто делали свою науку, все статьи были аккуратны, а все диссертации и дипломы осмысленны. Но в реальном мире это значит, что во время экспертизы лично тебе надо проголосовать против кого-то и лишить этого человека работы, гранта, стипендии, диссертации или диплома. Я знаю случаи, когда очень сильные ученые переаттестовывали кого-то со словами «да, это слабый ученый и всегда им был, да человек 20 лет почти на работу не ходит, но не выбрасывать же его на улицу». Я видел, как люди со статьями в топовых журналах писали положительные рецензии на очень слабые работы не потому, что как-то боялись автора или ждали, что им вернут этот должок, а потому, что «ну он человек хороший и ученый тоже, ну слабая работа, но ему же по грантам отчитываться, да и жалко обижать». Про оценки на студенческих дипломах даже вспоминать не буду. Понятно, что есть разумный компромисс между «бездушной эффективностью» и «милосердием». Но я часто видел, как этот баланс отсутствует напрочь. Моя позиция по этому вопросу довольно жесткая. Описанное — не проявление доброты, а желание сохранить свой личный психологический комфорт. Во-первых, это откровенное пренебрежение долгом перед наукой и научным сообществом, который люди на себя взяли, войдя в любой экспертный совет. Не готовы выносить честную экспертную оценку — не соглашайтесь быть экспертом. Во-вторых, это еще и развращающая практика для объектов такой «доброты». Я думаю, что довольно много талантливых ученых были загублены тем, что их в свое время несколько раз не «щелкнули по носу» объективной оценкой их работы.

Вторая человеческая проблема - это банальный перекос оценки в сторону «знакомых», зачастую неосознанный. Когда надо из 100 заявок выбрать 10 победителей, то обычно это значит, что где-то 30 фаворитов плюс-минус сопоставимы. И зачастую у 10 экспертов есть среди этих 30 фаворитов 10 знакомых. Которые точно молодцы. Объективно молодцы. И как-то так получается, что их они и выбирают. Но точно ли выбранные были более молодцы, чем оставшиеся фавориты? Я подчеркну, это естественный для человека перекос в пользу знакомых, сюда не надо подмешивать откровенный лоббизм и кумовство, чтобы это так работало. Опять же, я много раз был свидетелем того, как очень принципиальные люди совершали такую ошибку. И если обратить внимание на это и спросить «а как же кандидат 11», то они честно признавали, что «ну да, пожалуй, этот посильнее». Ключевое тут — обратить внимание. Что подсказывает «что с этим делать».

Третья проблема — совсем уж банальная — лень, усталость и недостаток времени. В реальном мире эксперты не станут досконально и скрупулезно рассматривать всех кандидатов. В лучшем случае сделают это лишь для нескольких. Эксперты на то и эксперты, что всем нужна их экспертиза. И запросы их учеников, лаборатории, института и друзей ученых обычно имеют приоритет выше, чем любая внешняя экспертиза. Исключения бывают, но собрать экспертный совет из одних исключений — утопия. Что опять же упирается в то, как обратить внимание экспертов на ключевые вещи.

Что с этим делать

Мой опыт организации экспертиз и наблюдения за поведением экспертов привел меня к следующему выводу: любая система обязана учитывать человеческий фактор и быть устойчива к его проявлениям. Никогда, ни в каком из миров система, которую может принципиально вывести из строя рядовой (а не злонамеренный и сильный) человеческий фактор, не будет работать нормально.
В случае научной экспертизы нам надо побороть описанное выше:
1) Осознанные и неосознанные перекосы в пользу друзей и знакомых.
2) Малодушное желание быть хорошеньким.
3) Отсутствие у экспертов сил и времени супер детально все изучить.

BY Капли ртути