کمیته تحقیقات و فناوری دانشجویی دانشکده پرستاری گرمی

کمیته تحقیقات و فناوری دانشجویی دانشکده پرستاری گرمی

پرسشنامه‌ام چقدر ثابت‌قدمه؟ رمزگشایی از پایایی (Reliability) از صفر تا صد ⚙️💯⏳ سلام مجدد به همه پژوهشگرای عزیز 👋🏻 تو پست‌های قبلی یاد گرفتیم که «روایی» یعنی پرسشنامه‌مون دقیقاً همون چیزی رو بسنجه که باید. اما یه ابزار خوب، علاوه بر دقت، باید «ثبات» هم داشته…

خب دوستان، از اتاق فرمان اشاره کردن که درمورد «پایایی بین ارزیاب‌ها» (Inter-Rater Reliability) بیشتر صحبت کنیم.

- بریم که بررسی کنیم:

📍اصلا صبر کن ببینم... «ارزیاب» دیگه کیه؟ مگه تحقیق مال من نیست؟
ببین، تا حالا حرفمون سر پرسشنامه بود. یه برگه میدی دست طرف، پر می‌کنه، تموم. ولی فرض کن پروژه تحقیقت اینه که بری تو یه مهدکودک، فیلم بگیری و ببینی بچه‌ها چند بار در ساعت با هم «مشارکت» می‌کنن.
اینجا ابزار تحقیق دیگه پرسشنامه نیست؛ خودِ چشمای توئه! حالا استاد میگه برای اینکه کارت علمی باشه، باید با یکی از دوستات این کار رو انجام بدی. یعنی دو نفر (دو تا ارزیاب) می‌شینین پای لپ‌تاپ و فیلم رو می‌بینین.

❗چالش اصلی کجاست؟ تو صحنه‌ای که یه بچه اسباب‌بازیشو میده به بغل‌دستیش، تو تیک «مشارکت» رو می‌زنی. ولی دوستت میگه «نه! این که مشارکت نبود، اون یکی خودش اسباب‌بازی رو از دستش کشید!».
اینجا اگه تو و دوستت روی تعریف «مشارکت» به یه دیدگاه مشترک نرسیده باشین، آخر کار تو ۳۰ تا مشارکت شمردی، دوستت ۱۵ تا! خب الان کدوم درسته؟ هیچی! کل داده‌ها قابل اعتماد نیستن چون «پایا» نیستن.

💭 پس کی به دردمون می‌خوره؟
هر وقت که کار تحقیقت از جنس قضاوت کردن یا مشاهده کردن بود، نه پرسشنامه پر کردن. مثلاً:
تحلیل کامنت‌های یه پیج که «توهین‌آمیز» هستن یا نه.
دیدن فیلم مصاحبه با بیمار و تشخیص اینکه «مضطرب» به نظر میاد یا «آروم».
داوری کردن یه مسابقه (مثلاً دو تا داور به یه اجرا نمره میدن).

✅ خب راه حل چیه؟ آشنا بشین با رفیق شفیقمون: «کاپای کوهن»
این «کاپا» یه فرمول آماری هست که میاد کار شما دو تا ارزیاب رو تحلیل می‌کنه.
• چیکار می‌کنه؟ خیلی ساده‌ست. میاد میگه شما دو نفر، روی چند درصد از موارد با هم، هم‌نظر بودین.
• ولی یه حرکت خیلی خفن‌تر هم می‌زنه: کاپا میاد توافقی که شانسی هم ممکن بود اتفاق بیفته رو محاسبه می‌کنه و از نتیجه کم می‌کنه! یعنی میگه «آقا یه سری موارد رو که شانسی هم ممکن بود مثل هم انتخاب کنین، اونا رو بریز دور! من فقط توافق واقعی و خالص شما رو می‌خوام.»
تهش یه عدد بهت میده (معمولاً بین ۰ تا ۱، هرچند منابع می‌گن بین ۱- تا ۱+ هست). اگه این عدد بالای ۰.۷ بود، یعنی دمتون گرم! کارتون درسته و خیلی هماهنگین. اگه پایین بود، یعنی باید بشینین دوباره با هم حرف بزنین و تعریفتون از چیزایی که می‌بینین رو یکی کنین.

📌 خلاصه کل داستان:
اگه تحقیقتون پرسشنامه‌ای بود، حواستون به آلفای کرونباخ باشه.
اگه تحقیقتون از مدل «بشینیم ببینیم چه خبره» بود (مشاهده‌ای، تفسیرمحور، قضاوتی)، حتماً قبلش باید پایایی کارتون رو با رفیقای ارزیابتون با کاپای کوهن چک کنین تا کارتون از بیخ و بن علمی و قابل دفاع باشه.
همین! چیز سختی نیست، فقط باید بدونین کِی ازش استفاده کنین. موفق باشین رفقا 😉✌️

- تیم تولید محتوای کمیته تحقیقات دانشجویی دانشکده پرستاری گرمی 🌱

👍1👌1

www.group-telegram.com/us/src_germi.com/2667

722 viewsMaryam Fattahi, edited  Jun 26 at 18:07

خب دوستان، از اتاق فرمان اشاره کردن که درمورد «پایایی بین ارزیاب‌ها» (Inter-Rater Reliability) بیشتر صحبت کنیم.

- بریم که بررسی کنیم:

📍اصلا صبر کن ببینم... «ارزیاب» دیگه کیه؟ مگه تحقیق مال من نیست؟
ببین، تا حالا حرفمون سر پرسشنامه بود. یه برگه میدی دست طرف، پر می‌کنه، تموم. ولی فرض کن پروژه تحقیقت اینه که بری تو یه مهدکودک، فیلم بگیری و ببینی بچه‌ها چند بار در ساعت با هم «مشارکت» می‌کنن.
اینجا ابزار تحقیق دیگه پرسشنامه نیست؛ خودِ چشمای توئه! حالا استاد میگه برای اینکه کارت علمی باشه، باید با یکی از دوستات این کار رو انجام بدی. یعنی دو نفر (دو تا ارزیاب) می‌شینین پای لپ‌تاپ و فیلم رو می‌بینین.

❗چالش اصلی کجاست؟ تو صحنه‌ای که یه بچه اسباب‌بازیشو میده به بغل‌دستیش، تو تیک «مشارکت» رو می‌زنی. ولی دوستت میگه «نه! این که مشارکت نبود، اون یکی خودش اسباب‌بازی رو از دستش کشید!».
اینجا اگه تو و دوستت روی تعریف «مشارکت» به یه دیدگاه مشترک نرسیده باشین، آخر کار تو ۳۰ تا مشارکت شمردی، دوستت ۱۵ تا! خب الان کدوم درسته؟ هیچی! کل داده‌ها قابل اعتماد نیستن چون «پایا» نیستن.

💭 پس کی به دردمون می‌خوره؟
هر وقت که کار تحقیقت از جنس قضاوت کردن یا مشاهده کردن بود، نه پرسشنامه پر کردن. مثلاً:
تحلیل کامنت‌های یه پیج که «توهین‌آمیز» هستن یا نه.
دیدن فیلم مصاحبه با بیمار و تشخیص اینکه «مضطرب» به نظر میاد یا «آروم».
داوری کردن یه مسابقه (مثلاً دو تا داور به یه اجرا نمره میدن).

✅ خب راه حل چیه؟ آشنا بشین با رفیق شفیقمون: «کاپای کوهن»
این «کاپا» یه فرمول آماری هست که میاد کار شما دو تا ارزیاب رو تحلیل می‌کنه.
• چیکار می‌کنه؟ خیلی ساده‌ست. میاد میگه شما دو نفر، روی چند درصد از موارد با هم، هم‌نظر بودین.
• ولی یه حرکت خیلی خفن‌تر هم می‌زنه: کاپا میاد توافقی که شانسی هم ممکن بود اتفاق بیفته رو محاسبه می‌کنه و از نتیجه کم می‌کنه! یعنی میگه «آقا یه سری موارد رو که شانسی هم ممکن بود مثل هم انتخاب کنین، اونا رو بریز دور! من فقط توافق واقعی و خالص شما رو می‌خوام.»
تهش یه عدد بهت میده (معمولاً بین ۰ تا ۱، هرچند منابع می‌گن بین ۱- تا ۱+ هست). اگه این عدد بالای ۰.۷ بود، یعنی دمتون گرم! کارتون درسته و خیلی هماهنگین. اگه پایین بود، یعنی باید بشینین دوباره با هم حرف بزنین و تعریفتون از چیزایی که می‌بینین رو یکی کنین.

📌 خلاصه کل داستان:
اگه تحقیقتون پرسشنامه‌ای بود، حواستون به آلفای کرونباخ باشه.
اگه تحقیقتون از مدل «بشینیم ببینیم چه خبره» بود (مشاهده‌ای، تفسیرمحور، قضاوتی)، حتماً قبلش باید پایایی کارتون رو با رفیقای ارزیابتون با کاپای کوهن چک کنین تا کارتون از بیخ و بن علمی و قابل دفاع باشه.
همین! چیز سختی نیست، فقط باید بدونین کِی ازش استفاده کنین. موفق باشین رفقا 😉✌️

- تیم تولید محتوای کمیته تحقیقات دانشجویی دانشکده پرستاری گرمی 🌱

BY کمیته تحقیقات و فناوری دانشجویی دانشکده پرستاری گرمی