پرش به محتوا
آکادمی علم‌نتآموزش کاربردی مهارت‌های پژوهش جست‌وجو در علم‌نت
اجرا، تحلیل و تفسیر

تعیین حدود ادعای علّی و تعمیم

حدود ادعای علّی و تعمیم را بر اساس نحوهٔ تشکیل گروه‌ها، سنجش و شرایط جامعهٔ مقصد مشخص کنید.

آمادهٔ مطالعه

در پیش‌نویس یک گزارش می‌خوانید «بازکردن یادآور باعث شد تحویل به‌موقع تکلیف در همهٔ دانشکده‌ها ۱۲ درصد بیشتر شود.» برای اصلاح این جمله، سه چیز را از روش مطالعه بیرون بکشید. گروه‌ها چگونه شکل گرفتند؟ اختلاف را به چه تصمیمی می‌توان نسبت داد؟ نتیجه دربارهٔ چه کسانی و در چه شرایطی است؟

پیش از شروع

روش تشکیل گروه‌ها، تعریف پیامد و نحوهٔ ورود افراد به مطالعه را کنار جدول نتایج بگذارید. در مثال فرضی این درس، شرکت‌کنندگان از درس‌های آنلاین یک دانشکده در یک نیمسال‌اند. برای هر دانشجو، پیشاپیش یک تکلیف مرجع تعیین شده است. تحویل به‌موقع یعنی ثبت معتبرِ تحویل نهایی همان تکلیف از آغاز بازهٔ تحویل تا موعد اعلام‌شده، با احتساب خودِ لحظهٔ موعد. انتخاب طرح برای پرسش کمی.

۱. ببینید گروه‌ها چگونه شکل گرفته‌اند

فرض کنید در یک بررسی مشاهده‌ای، سابقهٔ کامل سامانه را برای اعلان معمول تکلیف می‌خوانید. می‌توانید درصد تحویل به‌موقع را بین دانشجویانی که سامانه بازشدن اعلان را پیش از موعد برایشان ثبت کرده و دانشجویانی که در سابقهٔ کاملشان چنین رویدادی ثبت نشده است مقایسه کنید. ثبت بازشدن همان رویداد سامانه را نشان می‌دهد. اگر پرسش دربارهٔ خواندن متن اعلان است، برای خواندن به سنجه‌ای جداگانه نیاز دارید. انتخاب طرح برای پرسش کمی، گام ۲.

اگر تحویل به‌موقع در گروه اول بیشتر باشد، می‌توانید بنویسید «بازشدن ثبت‌شدهٔ اعلان با تحویل به‌موقع همراه بود.» یک توضیح دیگر این است که دانشجویانی که از قبل درس را منظم‌تر پیگیری می‌کردند، هم بیشتر اعلان را باز می‌کردند و هم بیشتر تکلیف را به‌موقع تحویل می‌دادند. این عادت می‌تواند عامل مخدوش‌کننده باشد، یعنی عامل مشترکی که بخشی از همراهی مشاهده‌شده یا همهٔ آن را توضیح می‌دهد. حتی اگر ترتیب رویدادها را از روی زمان ثبت بررسی کنید و بازشدن پیش از تحویل باشد، این توضیح همچنان ممکن است. برای تفسیر علّیِ چنین مقایسه‌ای، باید نشان دهید طرح و داده‌ها چطور به توضیح‌های جایگزین پاسخ می‌دهند. هرنان و رابینز، بخش‌های ۱٫۵، ۳٫۱ و ۷٫۱.

۲. ادعای علّی را به تصمیمی وصل کنید که قرعه تعیین کرده است

در نسخهٔ آزمایشی مثال، پیش از بازشدن بازهٔ تحویل، دانشجویان به‌صورت فردی و تصادفی با نسبت ۱ به ۱ تخصیص می‌یابند. یک گروه روال معمول را دارد و برایش ارسال یک یادآور اضافه، ۲۴ ساعت پیش از موعد، برنامه‌ریزی شده است. گروه دیگر فقط همان روال معمول را دارد. در تحلیل، هر دانشجو در گروهی می‌ماند که قرعه برایش تعیین کرده است. قرعه عادت قبلی به پیگیری درس را از قاعدهٔ تعیین گروه کنار می‌گذارد. با این حال، در یک اجرای مشخص ممکن است بعضی ویژگی‌ها به‌طور اتفاقی در دو گروه نامتوازن باشند. هوپ‌ول و همکاران، بند ۱۷a و جعبهٔ ۵ و بند ۲۱b.

در دادهٔ فرضیِ آزمایش، ۷۴ نفر از ۱۰۰ نفر در گروه تخصیص به یادآور و ۶۲ نفر از ۱۰۰ نفر در گروه روال معمول به‌موقع تحویل دادند. وضعیت تحویل همهٔ دانشجویان معلوم بود. اختلافِ مشاهده‌شده مثبت ۱۲ واحد درصد است. این دو درصد از گروه‌های تخصیص به دست آمده‌اند. برای محاسبهٔ درصد تحویل به تفکیک بازکنندگان و دیگران، باید جدول جداگانه‌ای از ثبت بازشدن و تحویل ساخت. گروه‌بندی بر اساس بازشدن دوباره به رفتار دانشجو وابسته می‌شود و توضیح جایگزینِ گام اول دوباره مطرح است. برنامهٔ تحلیل، گام‌های ۲ و ۴ و هرنان و رابینز، بخش ۲۲٫۱.

در این مثال، اگر قرعه طبق طرح اجرا شده باشد، ثبت تحویل در هر دو گروه درست و کامل باشد و اثر یادآور هر دانشجو بر تحویل دیگران ناچیز باشد، اختلاف دو گروه برآوردی از اثر تخصیص به برنامهٔ یادآور اضافه در این شرکت‌کنندگان است. این برآورد می‌گوید تحت شرایط مطالعه، تغییر برنامه از روال معمول به روال معمول به‌علاوهٔ یادآور چه تفاوتی در درصد تحویل به‌موقع ایجاد می‌کند. فاصلهٔ اطمینان ۹۵٪ مثال از منفی ۰٫۹ تا مثبت ۲۴٫۴ واحد درصد است. با فرض‌های محاسبه، دربارهٔ جهت اثر همچنان عدم قطعیت داریم. هرنان و رابینز، نکتهٔ ۱٫۱ و بخش ۲۲٫۱ و تفسیر اندازهٔ اثر و فاصلهٔ اطمینان.

هنگام بررسی گزارش، ببینید چه چیزی در عمل عوض شده است.

  • ثبت تحویل. اگر سامانه تحویل‌های معتبر یک گروه را بیشتر از دست بدهد، بخشی از اختلاف ثبت‌شده می‌تواند از شیوهٔ سنجش بیاید. اعتبار رسیدها را در هر دو گروه با یک قاعده بررسی کنید و موارد نامشخص را به تفکیک گروه گزارش دهید. هرنان و رابینز، بخش ۹٫۲ و هوپ‌ول و همکاران، بند ۲۱c.
  • اجرای ارسال. اگر ارسال برای بعضی افراد انجام نشده باشد، آن موارد را ثبت کنید و افراد را در گروه تخصیصشان نگه دارید. برآورد همچنان به تخصیص تحت همان شیوهٔ اجرا مربوط است. برای ادعا دربارهٔ دریافت قطعی یادآور، پرسش و تحلیل دیگری لازم است. هوپ‌ول و همکاران، بند ۲۱b و بند ۲۴a و هرنان و رابینز، بخش ۲۲٫۱.
  • رسیدن پیام به گروه دیگر. اگر دانشجویان محتوای یادآور را در گروه کلاسی بفرستند و این کار تحویل هم‌کلاسی‌ها را تغییر دهد، نتیجه به نحوهٔ تقسیم دانشجویان و گردش پیام در همان اجرا وابسته است. پیش از نسبت‌دادن اختلاف به یادآورِ هر دانشجو، اثر احتمالیِ یادآورهای دیگران را بررسی کنید. هرنان و رابینز، نکتهٔ ۱٫۱.

۳. برای تعمیم، مقصد و شرایطش را مشخص کنید

تخصیص تصادفی پاسخ می‌دهد هر شرکت‌کننده در کدام گروه قرار می‌گیرد. گزینش تصادفی نمونه پاسخ می‌دهد از یک جامعهٔ تعریف‌شده چه کسانی انتخاب می‌شوند. در این مثال، قرعهٔ تخصیص میان شرکت‌کنندگان برگزار شده است. برای ادعا دربارهٔ دانشجویان دیگر، جداگانه بررسی کنید شرکت‌کنندگان چگونه وارد شدند، چه کسانی پوشش داده شدند و مقصد مورد نظر چه تفاوتی با محل اجرا دارد. راهنمای نمونه‌گیری احتمالی و دهبره و همکاران، شرایط تعمیم و انتخاب جامعهٔ هدف.

فرض کنید می‌خواهید همین برنامه را برای دانشجویان درس‌های آنلاینِ دانشکده‌ای دیگر در نیمسال بعد به کار ببرید. اگر دانشکدهٔ مقصد از قبل چند یادآور می‌فرستد، «افزودن یک یادآور» در آنجا در برابر روال دیگری سنجیده می‌شود. اگر بستر مقصد پیام را روی گوشی نشان دهد، شاید یادآور به کسانی هم برسد که به سامانه سر نمی‌زنند. اگر موعد تکلیف با امتحان‌ها هم‌زمان شود، دانشجویان ممکن است زمان کمتری برای اقدام داشته باشند. هوپ‌ول و همکاران، بند ۳۰.

پیش از به‌کاربردن همان برآورد، با داده‌های مقصد بررسی کنید کدام تفاوت‌ها بین افراد و شرایط مطالعه و مقصد می‌توانند اندازهٔ اثر را عوض کنند. برای مثال، اگر بسیاری از دانشجویان مقصد اینترنت ناپایدار دارند، ببینید مطالعه تا چه حد دانشجویانی با همین شرایط را پوشش داده است و آیا خودِ یادآور در این شرایط به‌موقع می‌رسد. اگر تفاوت مهمی در جمعیت، روال یا بستر وجود دارد، یک آزمایش در مقصد می‌تواند اثر برنامه را در همان شرایط برآورد کند. دهبره و همکاران، انتخاب جامعهٔ هدف.

نتیجه را چطور بررسی کنیم؟

به جملهٔ اول برگردید. زیر فعل «باعث شد»، عبارت «در همهٔ دانشکده‌ها» و عدد «۱۲ درصد» خط بکشید. برای فعل، ببینید قرعه چه چیزی را تعیین کرد. برای دامنه، شرکت‌کنندگان و زمان را مشخص کنید. برای عدد، بگویید دو درصد از کدام گروه‌ها آمده‌اند و اختلاف چه واحدی دارد.

بازنویسی نمونه برای گزارش آزمایش. «در این آزمایش فرضی روی شرکت‌کنندگانِ درس‌های آنلاین یک دانشکده در یک نیمسال، ۷۴٪ از گروه تخصیص به روال معمول به‌علاوهٔ یادآور و ۶۲٪ از گروه روال معمول، تکلیف مرجع را به‌موقع تحویل دادند. با فرض اجرای درست قرعه، ثبت درست و کامل تحویل و اثر ناچیز یادآورِ دیگر دانشجویان بر پیامد هر فرد، برآورد اثر تخصیص مثبت ۱۲ واحد درصد بود. فاصلهٔ اطمینان ۹۵٪ از منفی ۰٫۹ تا مثبت ۲۴٫۴ واحد درصد بود.»

یک بار دیگر امتحان کنید. اگر مقایسهٔ گزارش بر سابقهٔ بازشدن اعلان و تحویل تکلیف استوار باشد، جملهٔ گام اول را دربارهٔ همراهی بنویسید و یک توضیح جایگزین اضافه کنید. اگر مدیر دانشکده‌ای دیگر می‌خواهد بداند همان نتیجه را خواهد دید، یک تفاوت محتمل در روال معمول، نیمسال یا بستر را نام ببرید و بگویید برای بررسی آن چه شاهدی لازم است.

خواننده برای سنجش همین ادعاها به شرح انتخاب افراد، گروه‌بندی و سنجش پیامد نیاز دارد. گام بعد نوشتن این شرح است. گزارش روش پژوهش کمی.

منابع

جایگاه این مطلب در نقشهٔ پژوهش

مهارت‌ها

قالب محتوا و نوع خروجی

این مطلب در کدام روش‌های پژوهش به کار می‌آید؟

  • پژوهش کمی

    برای سنجش دامنهٔ ادعای علّی، همراهی مشاهده‌ای یا تعمیم نتیجه.

پیمایش به بالا