Математика не для всех

В 2005 году Джон Иоаннидис опубликовал статью "Why Most Published Research Findings Are False", в которой представил аргументированное обоснование того, почему большая часть научных результатов не является истинной. Эта работа вызвала значительный резонанс в научном сообществе, так как поставила под сомнение надежность большого числа исследований.

Факторы риска
Автор утверждает, что вероятность ложных результатов в научных публикациях можно доказать математически. Он рассматривает ключевые факторы, которые влияют на истинность исследовательских данных. Одним из важнейших параметров является статистическая мощность исследования: чем меньше выборка, тем выше вероятность того, что результаты окажутся случайными. В свою очередь, маленький размер эффекта также снижает вероятность того, что исследование отразит реальную зависимость.

Еще одним важным фактором является соотношение истинных и ложных гипотез в конкретной научной области. Если в данной области большинство исследуемых гипотез ложны, вероятность получения ложноположительного результата возрастает. Кроме того, гибкость в дизайне исследования, выборе методики анализа и интерпретации данных также способствует получению предвзятых результатов. Изменение методик на ходу или манипуляции с анализом данных могут приводить к тому, что отрицательные результаты превращаются в положительные. Это особенно актуально в условиях конкуренции, когда публикации с "интересными" результатами получают больше внимания.

Финансовые и другие предвзятости также оказывают значительное влияние на научные исследования. Автор подчеркивает, что чем больше финансовых или иных заинтересованных сторон в научной области, тем выше вероятность того, что результаты исследований будут искажены. Этот эффект усиливается в областях с высокой конкуренцией, где ученые стремятся публиковать наиболее "сенсационные" результаты, даже если их достоверность сомнительна.

Иоаннидис вводит понятие bias, определяя его как совокупность факторов, приводящих к появлению научных результатов там, где их быть не должно. Это может включать не только методологические ошибки, но и сознательную или подсознательную предвзятость исследователей. В таких условиях положительное прогностическое значение (PPV), то есть вероятность того, что опубликованный результат действительно отражает истину, оказывается низким. Автор подчеркивает, что во многих научных областях PPV настолько мало, что заявленные эффекты могут просто отражать уровень предвзятости, а не реальную связь между переменными.

Конкретные примеры
Примеры ложных или сомнительных исследований можно найти во многих научных областях. Например, в исследованиях молекулярных предикторов размер выборки часто оказывается слишком малым, что делает их результаты ненадежными. В кардиологии, напротив, проводятся крупные рандомизированные контролируемые исследования, включающие тысячи пациентов, что увеличивает вероятность истинности их выводов. Исследования связи генетических факторов с мультигенными заболеваниями, такими как диабет или шизофрения, часто показывают относительный риск 1,1–1,5, что значительно ниже, чем в исследованиях, посвященных влиянию курения на рак (относительный риск 3–20). Это говорит о том, что небольшие эффекты сложнее подтвердить, а вероятность случайных находок выше.

Еще одним важным аспектом является количество проверенных связей. В подтверждающих исследованиях, таких как метаанализы или крупные клинические испытания фазы III, вероятность истинности результатов выше. В экспериментах, направленных на генерацию гипотез, напротив, часто проверяется множество возможных взаимосвязей, что увеличивает вероятность ложноположительных результатов. Например, если ученые тестируют сотни различных гипотез без строгого отбора, большинство их находок будут случайными.

🔥11👍9

www.group-telegram.com/us/mathematics_not_for_you.com/5040

5.12K viewsFeb 26 at 07:43

В 2005 году Джон Иоаннидис опубликовал статью "Why Most Published Research Findings Are False", в которой представил аргументированное обоснование того, почему большая часть научных результатов не является истинной. Эта работа вызвала значительный резонанс в научном сообществе, так как поставила под сомнение надежность большого числа исследований.

Факторы риска
Автор утверждает, что вероятность ложных результатов в научных публикациях можно доказать математически. Он рассматривает ключевые факторы, которые влияют на истинность исследовательских данных. Одним из важнейших параметров является статистическая мощность исследования: чем меньше выборка, тем выше вероятность того, что результаты окажутся случайными. В свою очередь, маленький размер эффекта также снижает вероятность того, что исследование отразит реальную зависимость.

Еще одним важным фактором является соотношение истинных и ложных гипотез в конкретной научной области. Если в данной области большинство исследуемых гипотез ложны, вероятность получения ложноположительного результата возрастает. Кроме того, гибкость в дизайне исследования, выборе методики анализа и интерпретации данных также способствует получению предвзятых результатов. Изменение методик на ходу или манипуляции с анализом данных могут приводить к тому, что отрицательные результаты превращаются в положительные. Это особенно актуально в условиях конкуренции, когда публикации с "интересными" результатами получают больше внимания.

Финансовые и другие предвзятости также оказывают значительное влияние на научные исследования. Автор подчеркивает, что чем больше финансовых или иных заинтересованных сторон в научной области, тем выше вероятность того, что результаты исследований будут искажены. Этот эффект усиливается в областях с высокой конкуренцией, где ученые стремятся публиковать наиболее "сенсационные" результаты, даже если их достоверность сомнительна.

Иоаннидис вводит понятие bias, определяя его как совокупность факторов, приводящих к появлению научных результатов там, где их быть не должно. Это может включать не только методологические ошибки, но и сознательную или подсознательную предвзятость исследователей. В таких условиях положительное прогностическое значение (PPV), то есть вероятность того, что опубликованный результат действительно отражает истину, оказывается низким. Автор подчеркивает, что во многих научных областях PPV настолько мало, что заявленные эффекты могут просто отражать уровень предвзятости, а не реальную связь между переменными.

Конкретные примеры
Примеры ложных или сомнительных исследований можно найти во многих научных областях. Например, в исследованиях молекулярных предикторов размер выборки часто оказывается слишком малым, что делает их результаты ненадежными. В кардиологии, напротив, проводятся крупные рандомизированные контролируемые исследования, включающие тысячи пациентов, что увеличивает вероятность истинности их выводов. Исследования связи генетических факторов с мультигенными заболеваниями, такими как диабет или шизофрения, часто показывают относительный риск 1,1–1,5, что значительно ниже, чем в исследованиях, посвященных влиянию курения на рак (относительный риск 3–20). Это говорит о том, что небольшие эффекты сложнее подтвердить, а вероятность случайных находок выше.

Еще одним важным аспектом является количество проверенных связей. В подтверждающих исследованиях, таких как метаанализы или крупные клинические испытания фазы III, вероятность истинности результатов выше. В экспериментах, направленных на генерацию гипотез, напротив, часто проверяется множество возможных взаимосвязей, что увеличивает вероятность ложноположительных результатов. Например, если ученые тестируют сотни различных гипотез без строгого отбора, большинство их находок будут случайными.

BY Математика не для всех