О размере эффекта и расчете объема выборки в научных задачах
Я в последнее время активно читаю теорию A/B-тестирования. По сути это классические эксперименты с контрольной и тестовой группами (case/control), с которыми постоянно сталкиваются ученые, но с учетом особенностей бизнеса.
📊 Важным этапом при проведении A/B-тестирования является расчет MDE (minimum detectable effect), минимально обнаруживаемый эффект. Например, в эксперименте мы хотим зафиксировать увеличение конверсии на 2% и мы можем рассчитать необходимый размер выборки для тестовой и контрольной группы, исходя из этого. Для этого нам нужно знать минимально обнаруживаемый размер эффекта (определили выше), дисперсию в контрольной и тестовой группе, а также уровень ошибки первого рода (стандартно 0.05) и желаемую мощность теста (обычно 80%).
На всякий случай напомню: мощность - это вероятность найти статистически значимые различия там, где они действительно есть (то есть единица минус вероятность ошибки II рода, про ошибки мнемоническое правило в прикрепленной картинке)
Меня заинтриговал этот подход, потому что он отталкивается от практических соображений. 🌱Интересно было бы применить такой концепт в биологических исследованиях. Например, сначала определить, какой эффект был бы биологически значимым, и после этого рассчитывать необходимый размер выборки. К примеру, мы изучаем влияние фитогормона на рост корня и знаем по предыдущим экспериментам длину корня растений определенного возраста (также можем рассчитать дисперсию). Можно зафиксировать, что для нас биологически важным будет изменение длины корня на 10%. После этого по формуле MDE, мы можем рассчитать необходимый размер выборки, чтобы зафиксировать такой эффект. 🐀 Хорошо, если полученный размер выборки окажется допустимым для исследования, так как при работе с мышами или другими животными, есть риск, что необходимый статистически размер выборки не одобрит биоэтический комитет. Но тут есть такая особенность, что чем больше эффект, тем меньше нужна выборка, чтобы его обнаружить. Можно для себя решить, что совсем небольшие изменения не несут особой биологической ценности и рассчитывать выборку для бОльших эффектов.
Как вы думаете, возможен ли такой подход в научных исследованиях?
О размере эффекта и расчете объема выборки в научных задачах
Я в последнее время активно читаю теорию A/B-тестирования. По сути это классические эксперименты с контрольной и тестовой группами (case/control), с которыми постоянно сталкиваются ученые, но с учетом особенностей бизнеса.
📊 Важным этапом при проведении A/B-тестирования является расчет MDE (minimum detectable effect), минимально обнаруживаемый эффект. Например, в эксперименте мы хотим зафиксировать увеличение конверсии на 2% и мы можем рассчитать необходимый размер выборки для тестовой и контрольной группы, исходя из этого. Для этого нам нужно знать минимально обнаруживаемый размер эффекта (определили выше), дисперсию в контрольной и тестовой группе, а также уровень ошибки первого рода (стандартно 0.05) и желаемую мощность теста (обычно 80%).
На всякий случай напомню: мощность - это вероятность найти статистически значимые различия там, где они действительно есть (то есть единица минус вероятность ошибки II рода, про ошибки мнемоническое правило в прикрепленной картинке)
Меня заинтриговал этот подход, потому что он отталкивается от практических соображений. 🌱Интересно было бы применить такой концепт в биологических исследованиях. Например, сначала определить, какой эффект был бы биологически значимым, и после этого рассчитывать необходимый размер выборки. К примеру, мы изучаем влияние фитогормона на рост корня и знаем по предыдущим экспериментам длину корня растений определенного возраста (также можем рассчитать дисперсию). Можно зафиксировать, что для нас биологически важным будет изменение длины корня на 10%. После этого по формуле MDE, мы можем рассчитать необходимый размер выборки, чтобы зафиксировать такой эффект. 🐀 Хорошо, если полученный размер выборки окажется допустимым для исследования, так как при работе с мышами или другими животными, есть риск, что необходимый статистически размер выборки не одобрит биоэтический комитет. Но тут есть такая особенность, что чем больше эффект, тем меньше нужна выборка, чтобы его обнаружить. Можно для себя решить, что совсем небольшие изменения не несут особой биологической ценности и рассчитывать выборку для бОльших эффектов.
Как вы думаете, возможен ли такой подход в научных исследованиях?
The SC urges the public to refer to the SC’s I nvestor Alert List before investing. The list contains details of unauthorised websites, investment products, companies and individuals. Members of the public who suspect that they have been approached by unauthorised firms or individuals offering schemes that promise unrealistic returns Telegram users are able to send files of any type up to 2GB each and access them from any device, with no limit on cloud storage, which has made downloading files more popular on the platform. On December 23rd, 2020, Pavel Durov posted to his channel that the company would need to start generating revenue. In early 2021, he added that any advertising on the platform would not use user data for targeting, and that it would be focused on “large one-to-many channels.” He pledged that ads would be “non-intrusive” and that most users would simply not notice any change. The company maintains that it cannot act against individual or group chats, which are “private amongst their participants,” but it will respond to requests in relation to sticker sets, channels and bots which are publicly available. During the invasion of Ukraine, Pavel Durov has wrestled with this issue a lot more prominently than he has before. Channels like Donbass Insider and Bellum Acta, as reported by Foreign Policy, started pumping out pro-Russian propaganda as the invasion began. So much so that the Ukrainian National Security and Defense Council issued a statement labeling which accounts are Russian-backed. Ukrainian officials, in potential violation of the Geneva Convention, have shared imagery of dead and captured Russian soldiers on the platform. Stocks dropped on Friday afternoon, as gains made earlier in the day on hopes for diplomatic progress between Russia and Ukraine turned to losses. Technology stocks were hit particularly hard by higher bond yields.
from us
