چگونه یک مفهوم را به نشانهها یا سنجههای قابل بررسی وصل کنیم؟
برای یک مفهوم نشانهٔ قابل بررسی پیدا کنید و برای مشاهده، بازهٔ اندازهگیری و ثبت مقادیر قاعده بنویسید.
آمادهٔ مطالعهفرض کنید میخواهید دربارهٔ «پیگیری تکلیف» پژوهش کنید و سامانهٔ آموزشی زمان بازشدن اعلان را ثبت میکند. این ثبت میتواند نشانهای از مراجعه به اعلان باشد. برای استفاده از آن باید مشخص کنید کدام رویداد، برای چه کسی، در چه بازهای و با چه قاعدهای وارد دادهٔ پژوهش میشود. در پایان این راهنما میتوانید آن قاعده را برای یک سنجه بنویسید و روی چند مشاهده امتحان کنید.
پیش از شروع
یک پرسش مشخص و توضیحی کوتاه دربارهٔ مفهوم موردنظر بنویسید. بعد ببینید چه شواهدی را میتوانید گردآوری کنید یا از دادهٔ موجود به دست آورید. اگر هنوز سؤال کلی است، از راهنمای صورتبندی پرسش کمی شروع کنید.
در مثال ساختگی این درس، میپرسیم: «در میان دانشجویان درسهای آنلاین یک دانشکده در یک نیمسال، آیا بازشدنِ ثبتشدهٔ اعلان تکلیف پیش از موعد با تحویلِ ثبتشدهٔ همان تکلیف تا موعد همراه است؟» برای هر دانشجو از قبل یک تکلیف مرجع تعیین میکنیم.
مراحل انجام کار
۱. مشخص کنید کدام بخش مفهوم به پرسش مربوط است
«پیگیری تکلیف» میتواند شامل باخبرشدن از موعد، مراجعه به توضیحات یا شروع کار باشد. در اینجا «پیگیری تکلیف» یک سازه است: مفهومی که باید برای پژوهش تعریفش کنید. بازشدن اعلان در سامانه به یک جنبه از پیگیری مربوط است: مراجعه به اعلان. بازشدن ثبتشده نشان نمیدهد دانشجو متن را خوانده یا فهمیده است؛ ممکن است موعد را از راه دیگری هم فهمیده باشد. به همین ترتیب، ثبت مراجعه به صفحهٔ توضیحات نشانهای از دسترسی به دستور تکلیف است؛ زمان شروع کار را نشان نمیدهد.
وقتی از چنین نشانهای برای بررسیِ غیرمستقیم یک مفهوم استفاده میکنید، آن نشانه سنجهٔ جانشین است. بنویسید چرا به مفهوم مربوط است و چه بخشی از آن را نشان نمیدهد. اگر سؤال واقعاً دربارهٔ خواندن اعلان یا درگیری کلی دانشجو با درس است، بازشدن اعلان بهتنهایی کافی نیست. در مثال، سؤال را به همان رخدادهایی محدود کردهایم که قرار است در سامانه بررسی کنیم؛ به همین دلیل نام ستون را «بازشدنِ ثبتشدهٔ اعلان پیش از موعد» میگذاریم. لوب و همکاران، صص. ۱۹–۲۱
۲. واحد مشاهده، بازه و محل ثبت را تعیین کنید
واحد مشاهده چیزی است که برایش یک ردیف میسازید. در مثال، هر ردیف برای یک دانشجو و تکلیف مرجع اوست. ردیفها را از فهرست دانشجویان و تکلیفهای مرجع بسازید تا کسانی که رویدادی از آنها ثبت نشده هم در فهرست بمانند. برای هر ردیف، کد دانشجو، شناسهٔ تکلیف و اعلان مربوط، زمان انتشار اعلان، زمان شروع پذیرش تکلیف و مهلت معتبر همان دانشجو را مشخص کنید. سپس از گزارش رویدادهای سامانه، نوع رویداد و زمان آن را به همان ردیف ربط دهید. ابتدا بررسی کنید در سامانهٔ شما چه عملی «بازشدن» یا «تحویل» حساب میشود و زمان ثبتشده مربوط به کدام مرحله از آن عمل است. روتلی و مونرئاله، بخشهای ۲.۱ و ۲.۲ و نتیجهگیری
| چه چیزی را ثبت میکنیم؟ | کدام مشاهده حساب میشود؟ |
|---|---|
| بازشدنِ ثبتشدهٔ اعلان پیش از موعد | دستکم یک ثبتِ بازشدن همان اعلان به نام همان دانشجو، از لحظهٔ انتشار تا پیش از موعد. |
| تحویلِ ثبتشدهٔ تکلیف تا موعد | دستکم یک ثبتِ تحویل نهایی همان تکلیف به نام همان دانشجو، از آغاز پذیرش تا خودِ موعد. ذخیرهٔ پیشنویس تحویل حساب نمیشود. |
این شرطها همراه با قاعدهٔ ثبت در گام بعد تعریف عملی هر سنجه را میسازند: یعنی روشن میکنند از روی مشاهده چه مقداری ثبت کنیم. در این مثال، بازشدن درست در لحظهٔ موعد در بازه نیست و تحویل در همان لحظه در بازه است. زمانها را به یک مبنای مشترک تبدیل کنید و مطمئن شوید دقت ثبت برای تشخیص این مرز کافی است. اگر چیزی مثل فاصلهٔ زمانی تا موعد را میسنجید، واحد سنجش را هم بنویسید؛ مثلاً دقیقه.
۳. از قبل بنویسید چه وقت «بله»، «خیر» یا «نامشخص» ثبت میشود
برای هر سنجه جداگانه این قاعده را اجرا کنید:
- بله: دستکم یک رویداد معتبر پیدا میشود که همهٔ شرطهای آن سنجه را دارد. چند بار بازشدن همچنان یک «بله» است.
- خیر: ثبت آن نوع رویداد برای دانشجو و تکلیف در کل بازه کامل و قابل اتکاست و هیچ رویداد واجد شرایطی پیدا نمیشود.
- نامشخص: ثبت معتبرِ واجد شرایطی ندارید و نمیتوانید نبود رویداد را هم احراز کنید؛ مثلاً گزارش بخشی از بازه در دسترس نیست یا زمانِ رخدادی که میتواند نتیجه را عوض کند معلوم نیست. در صورت امکان دلیل را کنار مقدار ثبت کنید.
پیش از استفاده، چند رویداد معلوم را با گزارش سامانه تطبیق دهید. بررسی کنید شناسهها به همان دانشجو و تکلیف برمیگردند، ساعتها همخواناند و گزارش بازهٔ لازم را پوشش میدهد. گزارش میتواند کامل باشد و در عین حال زمان یا شناسهٔ نادرست داشته باشد. اگر گزارش تنها تحویل در سامانه را پوشش میدهد، نتیجه را دربارهٔ همان تحویلِ ثبتشده بنویسید. تعداد مقادیر نامشخص هر ستون و دلیل شناختهشدهٔ آنها را جدا گزارش کنید. چارچوب کیفیت دادهٔ دولت بریتانیا، اصل ۴ و بخش کاملبودن
نتیجه را چطور بررسی کنیم؟
با چند مورد ساده قاعده را امتحان کنید. در این جدول فرضی، مهلت تکلیفها همان روز ساعت ۱۸:۰۰ است. ساعتهای جدول زمان دقیق رخدادها را نشان میدهند و اعلان و امکان تحویل پیش از آن زمانها در دسترس بودهاند.
| دانشجو | آنچه در داده داریم | بازشدن پیش از موعد | تحویل تا موعد |
|---|---|---|---|
| ۰۱ | تحویل نهایی ساعت ۱۶:۴۰ و بازشدن اعلان ساعت ۱۷:۱۰ ثبت شده است. | بله | بله |
| ۰۲ | ثبتها برای کل بازه کامل و معتبرند. بازشدنی ثبت نشده و تحویل نهایی ساعت ۱۸:۰۰ ثبت شده است. | خیر | بله |
| ۰۳ | ثبتِ بازشدن نداریم و گزارش اعلان در بخشی از بازه در دسترس نیست. تحویل نهایی ساعت ۱۷:۵۰ ثبت شده است. | نامشخص | بله |
به ردیف اول دقت کنید: بازشدن قبل از موعد و بعد از تحویل رخ داده است. دو «بله» فقط نشان میدهند هر رویداد در بازهٔ خودش ثبت شده است. در ردیف دوم، اگر تنها بازشدن هم ساعت ۱۸:۰۰ ثبت میشد، مقدار بازشدنِ پیش از موعد همچنان «خیر» بود. این «خیر» دربارهٔ خواندن یا فهمیدن اعلان چیزی نمیگوید.
برای پژوهش خودتان یادداشتی با این موارد بنویسید: نام سنجه، واحد مشاهده، منبع، بازه، قاعدهٔ ثبت و حد تفسیر. یادداشت و چند مشاهدهٔ نمونه را به همکار دیگری بدهید. اگر دربارهٔ اینکه یک ثبت حساب میشود یا «نامشخص» میماند به نتیجهٔ متفاوتی رسیدید، محل ابهام را پیدا کنید و قاعده را دقیقتر بنویسید. اگر شواهدِ در دسترس بخش موردنظر مفهوم را پوشش نمیدهند، برای گردآوری شواهد مناسب برنامه بریزید یا سؤال را دقیقتر کنید. بعد از تعریف سنجهها، راهنمای نقش متغیرها کمک میکند جای هر متغیر را در سؤال مشخص کنید.
منابع
- Loeb, S., Dynarski, S., McFarland, D., Morris, P., Reardon, S., & Reber, S. (2017). Descriptive Analysis in Education: A Guide for Researchers. NCEE 2017-4023، Institute of Education Sciences، صص. ۱۸–۲۱.
- Rotelli, D., & Monreale, A. (2023). Processing and Understanding Moodle Log Data and Their Temporal Dimension. Journal of Learning Analytics, 10(2), 126–141. DOI:
10.18608/jla.2023.7867. - Government Data Quality Hub. (2020). The Government Data Quality Framework. GOV.UK، نسخهٔ وب، دسترسی ۱۸ نوامبر ۲۰۲۶ به وقت تهران.
جایگاه این مطلب در نقشهٔ پژوهش
مهارتها
قالب محتوا و نوع خروجی
این مطلب در کدام روشهای پژوهش به کار میآید؟
- پژوهش کمی
وقتی به تعریف عملی سنجه یا قاعدهٔ ثبت نیاز دارید.