Капли ртути

Оценка научных результатов: маятник между экспертизой и наукометрией - часть 1
(часть 1, часть 2, часть 3)

Фундаментальная наука во всем мире в основном финансируется государствами. А где государственные деньги — там и система контроля и учета. Прикладную науку, а также индустриальное финансирование это тоже касается, но там свои особенности и разговор отдельный.
Пока никто во всем мире не придумал способов оценки лучше «наукометрии» и «экспертной». Социолог науки Михаил Соколов в том числе отмечал, что есть страны победивших бюрократов от науки и страны победившей профессуры. И обе системы относительно устойчивы, но имеют как плюсы, так и минусы.
В России же, по моим наблюдениям, до сих пор качается маятник, который заносит то в бюрократическую крайность, то в экспертную. Поскольку у меня есть внутренняя убежденность, что шатание из крайности в крайность непродуктивно, хотелось бы высказать пару мыслей, а также свое мнение, что с этим делать.

Все сказанное далее, очевидно, является личными взглядами, базирующимися на личном опыте довольно молодого ученого. Личный опыт — это опыт биолога, выросшего в МГУ, который в основном контактирует с учеными объективно высокого уровня. То есть, скорее всего, сказанное будет более применимо к сильной естественной науке, находящейся в конкурентной среде. Во-вторых, помимо опыта «оцениваемого», у меня есть опыт «оценивающего» и даже организатора экспертиз, в том числе в ученом совете своего института. Плюс рассказы старших коллег из различных экспертных органов.

Не лишним будет еще раз проговорить важную мысль. Наукометрия не является антиподом экспертизы. Наукометрия — это в широком смысле децентрализованная и разнесенная во времени экспертиза результатов научной деятельности рецензентами, читателями статей и процитировавшими тебя коллегами. Этот вроде как очевидный тезис полезно периодически проговаривать, поскольку ярые противники наукометрии любят подменять ее выраженные проблемы тем, что это бюрократия, не имеющая отношения к научной экспертизе. Нет, отношение к научной экспертизе наукометрия имеет очень сильное.

Пинать минусы наукометрии — занятие довольно скучное, они очевидны всем, кто с ней сталкивается. Лучше всего это суммировано в законе Гудхарта: «Когда мера становится целью, она перестает быть хорошей мерой». Об этом написано и сказано много, причем не только про оценки в науке. Поэтому просто еще раз озвучу очевидную проблему: как только метрика оценки какой-либо деятельности становится известной, она подменяет цель этой деятельности для «оцениваемых» (=если ученых оценивают по числу статей, они стараются писать больше статей). Это порождает проблемы и с «хакингом» метрик, и с подменой настоящей работы (в нашем случае — производства научного знания) ее имитацией и накруткой метрик. Кстати, есть у меня гипотеза, что частая смена правил подсчета метрик в нашей системе науки отчасти призвана бороться именно с этим: люди, которые «заняты делом» обычно при любой разумной метрике выглядят прилично. А вот те, кто накрутил одну метрику, по другой — могут выглядеть довольно жалко. И на этом хватит пинать наукометрию.

Экспертизу мне хочется пинать гораздо больше, поскольку это делают реже. Обычно ученые ругают «бездумные» наукометрические подходы и ратуют за экспертную оценку.
При экспертизе, если она действительно экспертная, эксперт почти со стопроцентной вероятностью знает или самого оцениваемого, или его «научную семью». Что порождает конфликты интересов и человеческий фактор. При этом я за свою жизнь ни разу не сталкивался с чем-то, что можно было прямо и без оговорок квалифицировать как «коррупцию» и «договорняк» при экспертизе. Возможно, повезло, и скорее всего, это привилегия нахождения в сильном научном центре. Однако. В «настоящей науке» (в противовес имитационной) «нечистоплотность» не представляется мне критичной проблемой. А вот человеческий фактор — да, влечет огромные сложности.

www.group-telegram.com/tw/mercury_octave.com/35

1.5K viewsedited  Aug 12, 2024 at 16:22

Оценка научных результатов: маятник между экспертизой и наукометрией - часть 1
(часть 1, часть 2, часть 3)

Фундаментальная наука во всем мире в основном финансируется государствами. А где государственные деньги — там и система контроля и учета. Прикладную науку, а также индустриальное финансирование это тоже касается, но там свои особенности и разговор отдельный.
Пока никто во всем мире не придумал способов оценки лучше «наукометрии» и «экспертной». Социолог науки Михаил Соколов в том числе отмечал, что есть страны победивших бюрократов от науки и страны победившей профессуры. И обе системы относительно устойчивы, но имеют как плюсы, так и минусы.
В России же, по моим наблюдениям, до сих пор качается маятник, который заносит то в бюрократическую крайность, то в экспертную. Поскольку у меня есть внутренняя убежденность, что шатание из крайности в крайность непродуктивно, хотелось бы высказать пару мыслей, а также свое мнение, что с этим делать.

Все сказанное далее, очевидно, является личными взглядами, базирующимися на личном опыте довольно молодого ученого. Личный опыт — это опыт биолога, выросшего в МГУ, который в основном контактирует с учеными объективно высокого уровня. То есть, скорее всего, сказанное будет более применимо к сильной естественной науке, находящейся в конкурентной среде. Во-вторых, помимо опыта «оцениваемого», у меня есть опыт «оценивающего» и даже организатора экспертиз, в том числе в ученом совете своего института. Плюс рассказы старших коллег из различных экспертных органов.

Не лишним будет еще раз проговорить важную мысль. Наукометрия не является антиподом экспертизы. Наукометрия — это в широком смысле децентрализованная и разнесенная во времени экспертиза результатов научной деятельности рецензентами, читателями статей и процитировавшими тебя коллегами. Этот вроде как очевидный тезис полезно периодически проговаривать, поскольку ярые противники наукометрии любят подменять ее выраженные проблемы тем, что это бюрократия, не имеющая отношения к научной экспертизе. Нет, отношение к научной экспертизе наукометрия имеет очень сильное.

Пинать минусы наукометрии — занятие довольно скучное, они очевидны всем, кто с ней сталкивается. Лучше всего это суммировано в законе Гудхарта: «Когда мера становится целью, она перестает быть хорошей мерой». Об этом написано и сказано много, причем не только про оценки в науке. Поэтому просто еще раз озвучу очевидную проблему: как только метрика оценки какой-либо деятельности становится известной, она подменяет цель этой деятельности для «оцениваемых» (=если ученых оценивают по числу статей, они стараются писать больше статей). Это порождает проблемы и с «хакингом» метрик, и с подменой настоящей работы (в нашем случае — производства научного знания) ее имитацией и накруткой метрик. Кстати, есть у меня гипотеза, что частая смена правил подсчета метрик в нашей системе науки отчасти призвана бороться именно с этим: люди, которые «заняты делом» обычно при любой разумной метрике выглядят прилично. А вот те, кто накрутил одну метрику, по другой — могут выглядеть довольно жалко. И на этом хватит пинать наукометрию.

Экспертизу мне хочется пинать гораздо больше, поскольку это делают реже. Обычно ученые ругают «бездумные» наукометрические подходы и ратуют за экспертную оценку.
При экспертизе, если она действительно экспертная, эксперт почти со стопроцентной вероятностью знает или самого оцениваемого, или его «научную семью». Что порождает конфликты интересов и человеческий фактор. При этом я за свою жизнь ни разу не сталкивался с чем-то, что можно было прямо и без оговорок квалифицировать как «коррупцию» и «договорняк» при экспертизе. Возможно, повезло, и скорее всего, это привилегия нахождения в сильном научном центре. Однако. В «настоящей науке» (в противовес имитационной) «нечистоплотность» не представляется мне критичной проблемой. А вот человеческий фактор — да, влечет огромные сложности.

BY Капли ртути