اجرای گردآوری داده و کنترل کیفیت حین اجرا
قبل و حین گردآوری، مسیر ثبت و پوشش داده را بررسی کنید و رخدادهای مسئلهدار را قابل پیگیری تحویل دهید.
آمادهٔ مطالعهدر گزارش امروزِ سامانه برای یک درس هیچ تحویلی دیده نمیشود. آیا کسی تکلیفش را تحویل نداده، یا گزارش بخشی از ثبتها را جا انداخته است؟ اگر همان روز پیگیری کنید، شاید بتوانید نسخهٔ کامل گزارش را بگیرید یا ثبت را از راه دیگری بررسی کنید. در این راهنما یاد میگیرید از اولین دریافت داده تا تحویل فایلها، چه چیزهایی را کنترل کنید و برای هر هشدار چه تصمیمی بگیرید.
پیش از شروع
تعریف سنجه، فهرست افرادی که باید پوشش داده شوند، فرم یا منبع ثبت و زمانبندی گردآوری را از طرح پژوهش بردارید. در یک برگهٔ کوتاه مشخص کنید چه کسی داده را ثبت یا دریافت میکند، چه کسی کنترل را انجام میدهد و چه کسی دربارهٔ توقف، اصلاح یا ادامهٔ گردآوری تصمیم میگیرد. با متولی منبع، مسیر دریافت فایل و راه پیگیری نقص را مشخص کنید. راهنمای DIME، مستندسازی دادههای دریافتی از همکاران.
مثال زیر فرضی است و از برنامهٔ تحلیل پژوهش یادآور تکلیف استفاده میکند. در درسهای آنلاین یک دانشکده در یک نیمسال، برای هر دانشجو یک تکلیف مرجع از پیش تعیین شده است. پیش از بازشدن بازهٔ تحویل، دانشجویان بهصورت فردی و تصادفی با نسبت ۱ به ۱ به دو گروه تخصیص مییابند. یک گروه روال معمول را دارد و برای گروه دیگر، علاوه بر روال معمول، یک یادآور برای ۲۴ ساعت مانده به موعد در نظر گرفته شده است. فهرست تخصیص را مرجع گروه نگه دارید و وضعیت ارسال یادآور یا ثبت بازشدن آن را جداگانه ثبت کنید.
۱. مسیر ثبت تا فایل دریافتی را امتحان کنید
با چند ثبت آزمایشی، همان راهی را طی کنید که داده در اجرای اصلی طی میکند. از خودِ ابزار یا سامانه ثبت بگیرید، گزارش را دریافت کنید و آن را با فهرست مورد انتظار تطبیق دهید. در مثال تکلیف، کنترل کنید که شناسهٔ دانشجو، شناسهٔ تکلیف، نوع رویداد و زمان ثبتشده در گزارش قابل تشخیص باشند. زمان رویداد را با زمان ساخت فایل اشتباه نگیرید و زمان رویداد و موعد را در یک منطقهٔ زمانی بخوانید. در آزمایش، یک پیشنویس، یک تحویل نهایی در لحظهٔ موعد و یک ثبت پس از موعد را بررسی کنید تا تفاوتشان در خروجی معلوم باشد. دادههای آزمایشی را بیرون از فایلهای اجرای اصلی نگه دارید. راهنمای DIME، آزمون ابزار الکترونیکی گردآوری.
در گردآوری مستقیم هم مسیر کامل را امتحان کنید. مثلاً اگر قد با دستگاه و برگه ثبت میشود، ببینید واحد اندازهگیری در برگه روشن است و مقدار ثبتشده با همان واحد به فایل منتقل میشود. اگر دو نفر داده میگیرند، از هر دو بخواهید طبق یک دستور ثبت کنند و یک نمونه را تا فایل نهایی دنبال کنند.
۲. با هر دریافت، پوشش و کیفیت ثبت را بررسی کنید
از اولین فایل شروع کنید و پس از هر دریافت، دوباره همان کنترلها را اجرا کنید. در مثال، تیم هر روز خروجی میگیرد و نزدیک موعد، یک کنترل اضافه دارد تا اگر نقصی دید بتواند زودتر پیگیری کند. فاصلهٔ کنترلها را با سرعت رسیدن داده و فرصتی که برای رفع نقص دارید تنظیم کنید. با هر دریافت، زمان دریافت، بازهٔ پوشش اعلامشده، منبع و نسخهٔ فایل را ثبت کنید و اصل فایل را در فضای با دسترسی محدود نگه دارید. راهنمای DIME، کنترل کیفیت حین گردآوری و مستندسازی دادههای دریافتی.
| چه چیزی را بررسی کنید؟ | نشانهای که پیگیری لازم دارد | کار بعدی |
|---|---|---|
| پوشش افراد و زمان | یک درس یا بخشی از بازه در گزارش دیده نمیشود | فهرست انتظار و تنظیمات گزارش را کنار هم بگذارید. از متولی سامانه بپرسید کدام درسها و ساعتها واقعاً در خروجی پوشش داده شدهاند. |
| اتصال به فرد و تکلیف | یک رویداد به شناسه یا تکلیف مرجع وصل نمیشود | با فهرست مرجع تطبیق دهید و شناسهٔ قابلتأیید را از مسئول ثبت بخواهید. |
| تکرار و سازگاری | یک شناسهٔ رویداد دوبار ظاهر شده یا زمان و نوع ثبت با هم ناسازگارند | نسخههای فایل و ثبت اصلی را مقایسه کنید. یک دانشجو ممکن است چند رویداد معتبر داشته باشد. |
کاهش ناگهانی شمار رویدادها میتواند علامت نقص باشد. با بررسی تنظیمات گزارش یا ثبت اصلی، معلوم کنید پوشش واقعاً ناقص است یا نه. در مثال، برای هر دو گروه منابع، قاعده و فرایند پیگیری یکسانی به کار ببرید. در هر گروه تعداد نفراتی را که پوشش ثبتشان ناقص است در کنار تعداد کل تخصیصیافتهها بنویسید تا دامنهٔ نقص روشن شود. راهنمای J-PAL، کنترلهای دورهای و ملاحظات دادههای ثبتی.
۳. نقص را پیگیری کنید و تصمیم را کنار شاهد ثبت کنید
در یک تمرین فرضی از همین طرح، موعد تحویل ساعت ۲۲ روز ۲۳ آذر است. در کنترل ساعت ۲۰:۴۵ تیم متوجه میشود بازهٔ ۲۰ تا ۲۰:۳۰ از خروجی یک درس جا افتاده است. متولی سامانه تأیید میکند که نقص در خروجی گزارش رخ داده و ثبت رویداد در سامانه ادامه داشته است. مسئول داده رخداد را ثبت میکند و از متولی میخواهد خروجی را دوباره بگیرد. او همان روز موضوع را به مسئول پژوهش اطلاع میدهد، چون اگر پوشش بازه بازیابی نشود، وضعیت تحویل بعضی دانشجویان ممکن است نامشخص بماند. اگر رفع نقص به تغییر قاعدهٔ گردآوری نیاز داشته باشد، مسئول پژوهش دربارهٔ اقدام و ثبت تغییر تصمیم میگیرد. راهنمای DIME، نمونهٔ پیگیری هشدار در حین گردآوری.
فرض کنید خروجی دوباره هنوز ناقص است. طبق قاعدهٔ ازپیشتعیینشده، برای همهٔ افراد تحتتأثیر، در هر دو گروه، رسید قابلتأیید سامانه را بررسی کنید. برای پذیرش رسید، باید دانشجو، تکلیف مرجع، تحویل نهایی و زمان رویداد مشخص باشند. در این تمرین، رسید دانشجوی «الف۱» تحویل نهایی در ساعت ۲۰:۱۲ را تأیید میکند. مسئول داده محل رسید، نسخهٔ گزارش و دلیل پذیرش را ثبت میکند. برای دانشجوی «الف۲»، بازه هنوز پوشش کامل ندارد و شاهد مثبتی پیدا نشده است.
بعد از بستهشدن بازهٔ تحویل و کنترل نهایی، قاعدهٔ پیامد در این مثال چنین است.
| شواهد در پایان بازه | وضعیت تحویل بهموقع |
|---|---|
| گزارش اصلی یا رسید معتبر، تحویل نهایی همان تکلیف را از بازشدن بازه تا خودِ لحظهٔ موعد تأیید میکند | بله |
| پوشش معتبر و کامل بازه تأیید شده و تحویل نهاییِ واجد شرایط پیدا نشده است | خیر |
| پوشش برای تصمیم کافی نیست و شاهد معتبری از تحویل بهموقع در دست نیست | نامشخص |
تا پیش از موعد، نبود رویداد یعنی بررسی هنوز ادامه دارد. بعد از موعد، آخرین دریافت را برای پوشش کل بازه و تطبیق شناسهها کنترل کنید. اگر نقص نمونه هنوز برقرار باشد، وضعیت «الف۱» با رسید معتبر «بله» و وضعیت «الف۲» «نامشخص» است. در دفتر رخداد بنویسید کدام مورد با شاهد حل شده و چه چیزی همچنان نیاز به پیگیری دارد. نسخهٔ اولیه و نسخهٔ تازه را با زمان دریافت و نتیجهٔ بررسی نگه دارید. راهنمای J-PAL، بخش شیوهٔ اجرای کنترلها.
۴. فایلها و وضعیت بررسی را تحویل دهید
در پایان گردآوری، فایلهای خام، فهرست تخصیص و تکلیفهای مرجع، و برگهٔ نسخهها و بازهٔ پوشش را همراه با دفتر رخداد و ارجاع به رسیدهای معتبر تحویل دهید. در دفتر رخداد مشخص کنید هر مورد با چه شاهدی حل شده یا چرا باز مانده و مسئول پیگیری آن کیست. دسترسی به اصل رسیدها و فایلهایی را که اطلاعات فردی دارند به افراد مجاز محدود کنید و برای ارجاعهای کاری از شناسهٔ پژوهش استفاده کنید. راهنمای DIME، نگهداری امن و پشتیبانگیری از دادههای اصلی.
| نمونهٔ ثبت رخداد هنگام تحویل فایلها | ثبت تکمیلشده |
|---|---|
| کشف نقص و مسئول پیگیری | ۲۳ آذر، ساعت ۲۰:۴۵. گزارش ۷، درس «الف»، پوشش ناقص از ۲۰ تا ۲۰:۳۰. پیگیری با متولی سامانه و اطلاع به مسئول پژوهش در همان روز. |
| نتیجهٔ بررسی | دریافت دوباره در ساعت ۲۲:۳۰، پس از موعدِ ساعت ۲۲. گزارش ۸ همچنان همان نقص را دارد. برای «الف۱»، رسید «ر۱» با زمان ۲۰:۱۲ در پوشهٔ رسیدها موجود است و وضعیت «بله» ثبت شد. برای «الف۲»، بدون شاهد معتبر، وضعیت «نامشخص» ثبت شد و پیگیری پوشش با متولی سامانه باز است. |
همکار بعدی از همین بسته استفاده میکند تا ردیفها را بسازد، موارد تکراری را بررسی کند و تغییرات را روی نسخهٔ کاری ثبت کند. راهنمای آمادهسازی دادهٔ عددی برای تحلیل.
نتیجه را چطور بررسی کنیم؟
یک مورد از دفتر رخداد را به همکار بدهید. او باید بتواند نسخه و بازهٔ فایل ناقص، شناسهٔ تحتتأثیر، مسئول پیگیری و شاهدی را که برای تصمیم به کار رفته پیدا کند. دو حالت را امتحان کنید. رسید معتبر با زمان دقیقِ موعد به «بله» میرسد. یک خلأ در پوشش و نبود شاهد معتبر به «نامشخص» میرسد. اگر همکارتان برای تشخیص یکی از این حالتها باید حدس بزند که گزارش چه بازهای را پوشش میدهد یا رسید به کدام تکلیف تعلق دارد، همان جزئیات را در برگهٔ تحویل تکمیل کنید.
منابع
- Bjärkefur, K., Cardoso de Andrade, L., Daniels, B., & Jones, M. R. (2021). Development Research in Practice: The DIME Analytics Data Handbook، فصل ۴، Acquiring development data. World Bank.
- Gibson, M. (2021). Data quality checks. Abdul Latif Jameel Poverty Action Lab (J-PAL)، با مشارکت Ben Morse؛ بهروزرسانی مارس ۲۰۲۱.
جایگاه این مطلب در نقشهٔ پژوهش
مهارتها
قالب محتوا و نوع خروجی
این مطلب در کدام روشهای پژوهش به کار میآید؟
- پژوهش کمی
برای گردآوری دادهٔ عددی، دریافت ثبت سامانه یا پایش کیفیت در اجرا.