Telegram Group & Telegram Channel
Оценка научных результатов: маятник между экспертизой и наукометрией - часть 1
(часть 1, часть 2, часть 3)

Фундаментальная наука во всем мире в основном финансируется государствами. А где государственные деньги — там и система контроля и учета. Прикладную науку, а также индустриальное финансирование это тоже касается, но там свои особенности и разговор отдельный.
Пока никто во всем мире не придумал способов оценки лучше «наукометрии» и «экспертной». Социолог науки Михаил Соколов в том числе отмечал, что есть страны победивших бюрократов от науки и страны победившей профессуры. И обе системы относительно устойчивы, но имеют как плюсы, так и минусы.
В России же, по моим наблюдениям, до сих пор качается маятник, который заносит то в бюрократическую крайность, то в экспертную. Поскольку у меня есть внутренняя убежденность, что шатание из крайности в крайность непродуктивно, хотелось бы высказать пару мыслей, а также свое мнение, что с этим делать.

Все сказанное далее, очевидно, является личными взглядами, базирующимися на личном опыте довольно молодого ученого. Личный опыт — это опыт биолога, выросшего в МГУ, который в основном контактирует с учеными объективно высокого уровня. То есть, скорее всего, сказанное будет более применимо к сильной естественной науке, находящейся в конкурентной среде. Во-вторых, помимо опыта «оцениваемого», у меня есть опыт «оценивающего» и даже организатора экспертиз, в том числе в ученом совете своего института. Плюс рассказы старших коллег из различных экспертных органов.

Не лишним будет еще раз проговорить важную мысль. Наукометрия не является антиподом экспертизы. Наукометрия — это в широком смысле децентрализованная и разнесенная во времени экспертиза результатов научной деятельности рецензентами, читателями статей и процитировавшими тебя коллегами. Этот вроде как очевидный тезис полезно периодически проговаривать, поскольку ярые противники наукометрии любят подменять ее выраженные проблемы тем, что это бюрократия, не имеющая отношения к научной экспертизе. Нет, отношение к научной экспертизе наукометрия имеет очень сильное.

Пинать минусы наукометрии — занятие довольно скучное, они очевидны всем, кто с ней сталкивается. Лучше всего это суммировано в законе Гудхарта: «Когда мера становится целью, она перестает быть хорошей мерой». Об этом написано и сказано много, причем не только про оценки в науке. Поэтому просто еще раз озвучу очевидную проблему: как только метрика оценки какой-либо деятельности становится известной, она подменяет цель этой деятельности для «оцениваемых» (=если ученых оценивают по числу статей, они стараются писать больше статей). Это порождает проблемы и с «хакингом» метрик, и с подменой настоящей работы (в нашем случае — производства научного знания) ее имитацией и накруткой метрик. Кстати, есть у меня гипотеза, что частая смена правил подсчета метрик в нашей системе науки отчасти призвана бороться именно с этим: люди, которые «заняты делом» обычно при любой разумной метрике выглядят прилично. А вот те, кто накрутил одну метрику, по другой — могут выглядеть довольно жалко. И на этом хватит пинать наукометрию.

Экспертизу мне хочется пинать гораздо больше, поскольку это делают реже. Обычно ученые ругают «бездумные» наукометрические подходы и ратуют за экспертную оценку.
При экспертизе, если она действительно экспертная, эксперт почти со стопроцентной вероятностью знает или самого оцениваемого, или его «научную семью». Что порождает конфликты интересов и человеческий фактор. При этом я за свою жизнь ни разу не сталкивался с чем-то, что можно было прямо и без оговорок квалифицировать как «коррупцию» и «договорняк» при экспертизе. Возможно, повезло, и скорее всего, это привилегия нахождения в сильном научном центре. Однако. В «настоящей науке» (в противовес имитационной) «нечистоплотность» не представляется мне критичной проблемой. А вот человеческий фактор — да, влечет огромные сложности.



group-telegram.com/mercury_octave/35
Create:
Last Update:

Оценка научных результатов: маятник между экспертизой и наукометрией - часть 1
(часть 1, часть 2, часть 3)

Фундаментальная наука во всем мире в основном финансируется государствами. А где государственные деньги — там и система контроля и учета. Прикладную науку, а также индустриальное финансирование это тоже касается, но там свои особенности и разговор отдельный.
Пока никто во всем мире не придумал способов оценки лучше «наукометрии» и «экспертной». Социолог науки Михаил Соколов в том числе отмечал, что есть страны победивших бюрократов от науки и страны победившей профессуры. И обе системы относительно устойчивы, но имеют как плюсы, так и минусы.
В России же, по моим наблюдениям, до сих пор качается маятник, который заносит то в бюрократическую крайность, то в экспертную. Поскольку у меня есть внутренняя убежденность, что шатание из крайности в крайность непродуктивно, хотелось бы высказать пару мыслей, а также свое мнение, что с этим делать.

Все сказанное далее, очевидно, является личными взглядами, базирующимися на личном опыте довольно молодого ученого. Личный опыт — это опыт биолога, выросшего в МГУ, который в основном контактирует с учеными объективно высокого уровня. То есть, скорее всего, сказанное будет более применимо к сильной естественной науке, находящейся в конкурентной среде. Во-вторых, помимо опыта «оцениваемого», у меня есть опыт «оценивающего» и даже организатора экспертиз, в том числе в ученом совете своего института. Плюс рассказы старших коллег из различных экспертных органов.

Не лишним будет еще раз проговорить важную мысль. Наукометрия не является антиподом экспертизы. Наукометрия — это в широком смысле децентрализованная и разнесенная во времени экспертиза результатов научной деятельности рецензентами, читателями статей и процитировавшими тебя коллегами. Этот вроде как очевидный тезис полезно периодически проговаривать, поскольку ярые противники наукометрии любят подменять ее выраженные проблемы тем, что это бюрократия, не имеющая отношения к научной экспертизе. Нет, отношение к научной экспертизе наукометрия имеет очень сильное.

Пинать минусы наукометрии — занятие довольно скучное, они очевидны всем, кто с ней сталкивается. Лучше всего это суммировано в законе Гудхарта: «Когда мера становится целью, она перестает быть хорошей мерой». Об этом написано и сказано много, причем не только про оценки в науке. Поэтому просто еще раз озвучу очевидную проблему: как только метрика оценки какой-либо деятельности становится известной, она подменяет цель этой деятельности для «оцениваемых» (=если ученых оценивают по числу статей, они стараются писать больше статей). Это порождает проблемы и с «хакингом» метрик, и с подменой настоящей работы (в нашем случае — производства научного знания) ее имитацией и накруткой метрик. Кстати, есть у меня гипотеза, что частая смена правил подсчета метрик в нашей системе науки отчасти призвана бороться именно с этим: люди, которые «заняты делом» обычно при любой разумной метрике выглядят прилично. А вот те, кто накрутил одну метрику, по другой — могут выглядеть довольно жалко. И на этом хватит пинать наукометрию.

Экспертизу мне хочется пинать гораздо больше, поскольку это делают реже. Обычно ученые ругают «бездумные» наукометрические подходы и ратуют за экспертную оценку.
При экспертизе, если она действительно экспертная, эксперт почти со стопроцентной вероятностью знает или самого оцениваемого, или его «научную семью». Что порождает конфликты интересов и человеческий фактор. При этом я за свою жизнь ни разу не сталкивался с чем-то, что можно было прямо и без оговорок квалифицировать как «коррупцию» и «договорняк» при экспертизе. Возможно, повезло, и скорее всего, это привилегия нахождения в сильном научном центре. Однако. В «настоящей науке» (в противовес имитационной) «нечистоплотность» не представляется мне критичной проблемой. А вот человеческий фактор — да, влечет огромные сложности.

BY Капли ртути


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/mercury_octave/35

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

"Your messages about the movement of the enemy through the official chatbot … bring new trophies every day," the government agency tweeted. Right now the digital security needs of Russians and Ukrainians are very different, and they lead to very different caveats about how to mitigate the risks associated with using Telegram. For Ukrainians in Ukraine, whose physical safety is at risk because they are in a war zone, digital security is probably not their highest priority. They may value access to news and communication with their loved ones over making sure that all of their communications are encrypted in such a manner that they are indecipherable to Telegram, its employees, or governments with court orders. READ MORE Pavel Durov, a billionaire who embraces an all-black wardrobe and is often compared to the character Neo from "the Matrix," funds Telegram through his personal wealth and debt financing. And despite being one of the world's most popular tech companies, Telegram reportedly has only about 30 employees who defer to Durov for most major decisions about the platform. Telegram, which does little policing of its content, has also became a hub for Russian propaganda and misinformation. Many pro-Kremlin channels have become popular, alongside accounts of journalists and other independent observers.
from jp


Telegram Капли ртути
FROM American