Техножрица 👩‍💻👩‍🏫👩‍🔧

Итак, небольшой ликбез по "научным закрытиям" - то есть, опровержениям и "отмене" научных исследований, которые на поверку оказались ошибочными или содержали подтасовки, а также список ресурсов, из которых можно об этих "закрытиях" узнавать.

—

В идеале заведомо ошибочные или недобросовестные научные статьи должны отсекаться ещё на этапе рецензирования, но из-за несовершенства системы это удаётся сделать далеко не всегда. Бывает и так, что серьёзные ошибки или фальсификации выявляются уже после публикации, и тогда уважающий себя научный журнал отзывает такой материал (это называется "ретракция", фактически "отмена" статьи). После этого публикация больше не считается действительной и не учитывается в наукометрии. Сам текст статьи, как правило, остаётся доступен на сайте, но сверху на него добавляют большой штамп со словами "RETRACTED", "WITHDRAWN", "WRONG PROOF", "WRONG DATA" и т.п.

Также случается, что статьи отзывают не из-за фактических ошибок или подтасовок, а из-за нарушения других принципов scientific integrity (научной добросовестности), например, плагиата или отсутствия добровольного информированного согласия пациентов на эксперимент. К сожалению, редакция журнала не всегда дает подробное объяснение того, почему именно статью отозвали, а ведь знать причины может быть важно, чтобы сделать правильные выводы. Однако, существует ряд ресурсов, которые систематически разбирают причины ретракций, а также указывают на ошибки и подтасовки в ещё не отозванных статьях:

1️⃣ Retraction Watch ( https://retractionwatch.com/ ) - пожалуй, самый известный блог на тему научных скандалов и ретракций, основанный научными журналистами Ivan Oransky и Adam Marcus. Кроме блога, авторы создали некоммерческую организацию под названием Center for Scientific Integrity и базу данных отозванных статей. В этой базе описана информация о том, где, когда и кем была опубликована каждая статья + краткие причины её отзыва. Любители анализа данных могут скачать её здесь: https://gitlab.com/crossref/retraction-watch-data/-/blob/main/retraction_watch.csv и посчитать по ней какие-нибудь интересные статистики.
2️⃣ Data Colada ( https://datacolada.org/ ) - блог, занимающийся выявлением статистических аномалий в данных из научных экспериментов - в основном, по behavioural science, - с целью разоблачений подтасовок. Пример - их анализ экспериментов печально известной Франчески Джино: https://datacolada.org/118 . Также ребята занимаются обнаружением p-hacking и других методологических проблем в исследованиях.
3️⃣ For Better Science ( https://forbetterscience.com/ ) - блог научного журналиста Leonid Schneider. Публикует журналистские расследования, как правило, связанные с научными скандалами в области медицины и биологии.
4️⃣ Science Integrity Digest ( https://scienceintegritydigest.com/ ) - блог микробиолога Elisabeth Bik с выявлением подлога в научных статьях, в основном, снова по биологии и медицине. Тут надо пояснить, что в таких статьях фотографии - например, клеток под микроскопом или результатов спектроскопии - нередко используются в качестве важного подтверждения правильности выводов. Так вот, Элизабет специализируется на выявлении фальсификаций в подобных изображениях - например, копипасты или следов использования фотошопа.
5️⃣ PubPeer ( https://pubpeer.com/ ) - ресурс, на котором можно рецензировать научные статьи пост-фактум уже после публикации, находить и анонимно описывать найденные в них ошибки и махинации. В основном посвящен статьям по биологии, медицине, но также рассматриваются статьи и по другим естественным наукам.

Что же касается моей научной области ( AI / ML / DL ), тут с отслеживанием ретракций всё сложно: специальных блогов на эту тему я не находила, да и сами ретракции случаются редко и проходят почти незамеченными. Максимум - где-нибудь в Proceedings появится пометка "withdrawn", да на https://openreview.net/ повезет найти обсуждение, из которого понятно, что пошло не так. И то не всегда: часть таких дискуссий остаётся закрытой. Надеюсь, эта ситуация улучшится в будущем.

#академический_ликбез #наука

❤58👍23✍97👏1🎉11

www.group-telegram.com/us/tech_priestess.com/2319

4.52K viewsedited  Aug 23 at 17:13

Итак, небольшой ликбез по "научным закрытиям" - то есть, опровержениям и "отмене" научных исследований, которые на поверку оказались ошибочными или содержали подтасовки, а также список ресурсов, из которых можно об этих "закрытиях" узнавать.

—

В идеале заведомо ошибочные или недобросовестные научные статьи должны отсекаться ещё на этапе рецензирования, но из-за несовершенства системы это удаётся сделать далеко не всегда. Бывает и так, что серьёзные ошибки или фальсификации выявляются уже после публикации, и тогда уважающий себя научный журнал отзывает такой материал (это называется "ретракция", фактически "отмена" статьи). После этого публикация больше не считается действительной и не учитывается в наукометрии. Сам текст статьи, как правило, остаётся доступен на сайте, но сверху на него добавляют большой штамп со словами "RETRACTED", "WITHDRAWN", "WRONG PROOF", "WRONG DATA" и т.п.

Также случается, что статьи отзывают не из-за фактических ошибок или подтасовок, а из-за нарушения других принципов scientific integrity (научной добросовестности), например, плагиата или отсутствия добровольного информированного согласия пациентов на эксперимент. К сожалению, редакция журнала не всегда дает подробное объяснение того, почему именно статью отозвали, а ведь знать причины может быть важно, чтобы сделать правильные выводы. Однако, существует ряд ресурсов, которые систематически разбирают причины ретракций, а также указывают на ошибки и подтасовки в ещё не отозванных статьях:

1️⃣ Retraction Watch ( https://retractionwatch.com/ ) - пожалуй, самый известный блог на тему научных скандалов и ретракций, основанный научными журналистами Ivan Oransky и Adam Marcus. Кроме блога, авторы создали некоммерческую организацию под названием Center for Scientific Integrity и базу данных отозванных статей. В этой базе описана информация о том, где, когда и кем была опубликована каждая статья + краткие причины её отзыва. Любители анализа данных могут скачать её здесь: https://gitlab.com/crossref/retraction-watch-data/-/blob/main/retraction_watch.csv и посчитать по ней какие-нибудь интересные статистики.
2️⃣ Data Colada ( https://datacolada.org/ ) - блог, занимающийся выявлением статистических аномалий в данных из научных экспериментов - в основном, по behavioural science, - с целью разоблачений подтасовок. Пример - их анализ экспериментов печально известной Франчески Джино: https://datacolada.org/118 . Также ребята занимаются обнаружением p-hacking и других методологических проблем в исследованиях.
3️⃣ For Better Science ( https://forbetterscience.com/ ) - блог научного журналиста Leonid Schneider. Публикует журналистские расследования, как правило, связанные с научными скандалами в области медицины и биологии.
4️⃣ Science Integrity Digest ( https://scienceintegritydigest.com/ ) - блог микробиолога Elisabeth Bik с выявлением подлога в научных статьях, в основном, снова по биологии и медицине. Тут надо пояснить, что в таких статьях фотографии - например, клеток под микроскопом или результатов спектроскопии - нередко используются в качестве важного подтверждения правильности выводов. Так вот, Элизабет специализируется на выявлении фальсификаций в подобных изображениях - например, копипасты или следов использования фотошопа.
5️⃣ PubPeer ( https://pubpeer.com/ ) - ресурс, на котором можно рецензировать научные статьи пост-фактум уже после публикации, находить и анонимно описывать найденные в них ошибки и махинации. В основном посвящен статьям по биологии, медицине, но также рассматриваются статьи и по другим естественным наукам.

Что же касается моей научной области ( AI / ML / DL ), тут с отслеживанием ретракций всё сложно: специальных блогов на эту тему я не находила, да и сами ретракции случаются редко и проходят почти незамеченными. Максимум - где-нибудь в Proceedings появится пометка "withdrawn", да на https://openreview.net/ повезет найти обсуждение, из которого понятно, что пошло не так. И то не всегда: часть таких дискуссий остаётся закрытой. Надеюсь, эта ситуация улучшится в будущем.

#академический_ликбез #наука

BY Техножрица 👩‍💻👩‍🏫👩‍🔧