چگونه دادهٔ عددی را بررسی، کدگذاری و برای تحلیل آماده کنیم؟
دادهٔ خام را با تعریف واحد ردیف، فرهنگ متغیرها، کنترل ثبتها و مستندسازی تغییرها برای تحلیل آماده کنید.
آمادهٔ مطالعهفایل داده را گرفتهاید. یک شناسه دو بار آمده، چند خانه خالی است و بعضی زمانها عجیباند. قبل از تحلیل باید بتوانید توضیح دهید هر ردیف دربارهٔ چیست، هر مقدار چه معنایی دارد و هر تغییر با چه شاهدی انجام شده است. در پایان این راهنما میتوانید از فایل خام یک جدول آماده بسازید و مواردی را که هنوز به بررسی نیاز دارند کنار آن ثبت کنید.
پیش از شروع
فایل دریافتی، توضیح ستونها یا فرم گردآوری، تعریف سنجهها و فهرست واحدهایی را که باید در داده باشند کنار هم بگذارید. برای مثالهای کوچک یک صفحهگسترده کافی است؛ مهم این است که بتوانید از روی قواعد و یادداشتها دوباره به همان جدول برسید. اگر هنوز نمیدانید کدام رویداد باید به حساب بیاید، اول راهنمای تعریف سنجه را بخوانید.
مثال این درس فرضی است. دربارهٔ دانشجویان درسهای آنلاین یک دانشکده در یک نیمسال میپرسیم: آیا بازشدنِ ثبتشدهٔ اعلان تکلیف پیش از موعد با تحویلِ ثبتشدهٔ همان تکلیف تا موعد همراه است؟ برای هر دانشجو از قبل یک تکلیف مرجع تعیین کردهایم. ثبت بازشدن دربارهٔ خواندن اعلان یا فهمیدن آن چیزی نمیگوید.
مراحل انجام کار
۱. فایل خام را حفظ کنید و تعیین کنید هر ردیف دربارهٔ چیست
فایل دریافتی را بدون تغییر نگه دارید و تاریخ دریافت، منبع و نسخهٔ آن را یادداشت کنید. مرتبسازی، اصلاح و کدگذاری را روی نسخهٔ کاری انجام دهید و جدول آماده را جدا ذخیره کنید. اگر داده شخصی است، فایل خام و جدول تطبیق نام با کد پژوهش را در محل با دسترسی محدود نگه دارید. راهنمای DIME بانک جهانی، فصل ۵
برای مثال، یک ردیف یعنی یک دانشجو و تکلیف مرجع او. چون در این نیمسال برای هر دانشجو فقط یک تکلیف مرجع داریم، کد پژوهشِ دانشجو باید در جدول آماده یکتا باشد. شناسهٔ تکلیف و، در صورت نیاز، شناسهٔ درس برای پیدا کردن ثبتهای مربوط به همان تکلیف به کار میروند. جدول را از فهرست دانشجوها و تکلیفهای مرجع بسازید تا دانشجوی بیثبت هم ردیف داشته باشد. در گزارش خامِ رویدادها، چند بازشدن بهدرستی میتوانند چند ردیف باشند؛ در جدول آماده برای آن دانشجو فقط یک ردیف میماند. راهنمای DIME، بخش شناسهٔ یکتا و ساختار جدول
۲. یک فرهنگ متغیر بنویسید و از روی آن کدگذاری کنید
فرهنگ متغیر (data dictionary) توضیح کوتاه ستونهاست. برای هر ستون نام، معنا، نوع داده، منبع و مقادیر مجاز را بنویسید. برای مقدار اندازهگیریشده، واحد را هم بیاورید؛ مثلاً «دقیقه» برای مدت. اگر ستون را از ثبتهای دیگر میسازید، قاعدهٔ تبدیل را ثبت کنید. راهنمای DIME، بخش کدگذاری و توضیح متغیرها
| نام ستون | معنا و منبع | نوع و مقادیر مجاز |
|---|---|---|
student_id |
کد پژوهشِ دانشجو، از فهرست دانشجویان | متن؛ کد موجود در فهرست، یکتا و غیرخالی در جدول آماده |
reference_task |
تکلیف مرجع همان دانشجو، از فهرست تکلیفها | متن؛ شناسهٔ معتبر برای همان درس و دانشجو، غیرخالی |
opened_before_due |
بازشدنِ معتبر و ثبتشدهٔ اعلان مربوط، از زمان انتشار تا پیش از موعد | عدد صحیح: 1 بله، 0 خیر؛ NA نامشخص |
submitted_by_due |
تحویل نهاییِ معتبر و ثبتشدهٔ همان تکلیف، از آغاز پذیرش تا خودِ موعد | عدد صحیح: 1 بله، 0 خیر؛ NA نامشخص |
برای هر یک از دو ستون رویداد، جداگانه تصمیم بگیرید:
1، بله: دستکم یک ثبت معتبر، با شناسهٔ درست و زمان داخل بازه، دارید. ذخیرهٔ پیشنویس، تحویل نهایی حساب نمیشود.0، خیر: ثبت همان نوع رویداد برای آن دانشجو و تکلیف در تمام بازهٔ مربوط به سنجه کامل و قابل اتکاست و هیچ ثبت معتبرِ واجد شرایطی پیدا نشده است.NA، نامشخص: رویداد واجد شرایط را از ثبتهای موجود نمیتوانید احراز کنید و شاهد کافی برای «خیر» هم ندارید؛ مثلاً بخشی از گزارش در دسترس نیست یا زمان ثبت مشکوک است و ممکن است نتیجه را عوض کند. دلیلِ معلوم را در ستون جدا یا دفتر تصمیمها بیاورید.
NA در این مثال نشانهٔ مقدار گمشده است. هنگام ورود جدول به نرمافزار، بررسی کنید آن را گمشده بخواند و با 0 یا یک عدد معتبر اشتباه نگیرد. 0 و 1 برچسب دستهاند؛ راهنمای سطح اندازهگیری توضیح میدهد چرا عددی بودنِ کد، آن را به کمیت تبدیل نمیکند. برای اینکه «هیچ ثبت واجد شرایطی پیدا نشد» را درست تفسیر کنید، پوششِ گزارش را کنار درستی شناسه و زمان بررسی کنید. چارچوب کیفیت دادهٔ دولت بریتانیا، بخش کاملبودن
۳. موارد مشکوک را پیدا کنید
برای هر بررسی، قاعده را در یک جمله بنویسید و کنار موارد ناسازگار علامت بگذارید. این کار را با ستونهای مهم شروع کنید. راهنمای DIME، بخش کنترل کیفیت داده؛ آمار کانادا، بخش ۱۰٫۳
| چه چیزی را بررسی میکنیم؟ | نمونهٔ قاعده در این درس |
|---|---|
| نوع و قالب | شناسه متن است؛ نرمافزار نباید صفر اول آن را حذف کند. تاریخ و ساعت باید در قالب مشخص خوانده شوند. |
| دامنه و کد | در دو ستون رویداد فقط 0 و 1 مقدار معتبرند؛ NA جداست. مثلاً 2 را برای بازشدنِ دوباره وارد این ستون نکنید. |
| شناسهٔ تکراری | تکرار کد دانشجو در جدول آماده نیاز به بررسی دارد. در گزارش رویداد هم مشخص کنید دو سطر کپیِ یک ثبتاند یا دو رویداد جدا. دو سطر شبیه را فقط به دلیل شباهت یکی نکنید. |
| سازگاری بین ستونها | شناسهٔ دانشجو، درس و تکلیفِ رویداد باید با ردیف فهرست مرجع جور دربیاید. برای ستون «تحویل»، نوع رویداد هم باید تحویل نهایی باشد. |
| زمان و ترتیب | تاریخ و ساعت رویداد و مهلت معتبر همان دانشجو را روی یک مبنای زمانی مقایسه کنید. بازشدن در لحظهٔ موعد، «پیش از موعد» نیست؛ تحویل نهایی در همان لحظه، «تا موعد» است. اگر دقت ثبت برای تشخیص این مرز کافی نیست، مورد را علامت بزنید. |
برای ستونهای کمّی، کمینه، بیشینه یا یک نمودار ساده کمک میکند مقدارهای دور از بقیه را پیدا کنید. مقدار دور میتواند واقعی باشد و خانهٔ خالی هم بهخودیخود خطای ورود نیست. علامت فقط میگوید بررسی لازم است. برای زمان رویداد هم مطمئن شوید سامانه چه لحظهای را ثبت میکند؛ مثلاً ثبت پیشنویس و ثبت تحویل نهایی دو رویداد متفاوتاند. راهنمای DIME، بخش بررسی داده؛ روتلی و مونرئاله، بخشهای ۲.۱ و ۲.۲
۴. با شاهد تصمیم بگیرید و نتیجه را ثبت کنید
مورد علامتخورده را با منبع معتبرِ در دسترس، مثلاً ثبت اصلی سامانه یا پاسخ ثبتشده در فرم، تطبیق دهید. اگر خطا و مقدار درست روشن است، فقط نسخهٔ کاری را اصلاح کنید. اگر مقدار نامعمول درست است، نگهش دارید. اگر مسئله حل نمیشود، آن را برای بازبینی به فرد مسئول ارجاع دهید و دلیل را ثبت کنید. وقتی مقدارِ سنجه از شواهد قابل تعیین نیست، آن خانه را «نامشخص» بگذارید و اطلاعات معتبرِ دیگر ردیف را نگه دارید. اگر هویتِ ثبت روشن نیست، تا زمان بررسی آن را به دانشجویی نسبت ندهید. در دفتر تصمیمها کد ردیف و ستون، مقدار اولیه، نتیجه، قاعده، شاهد و دلیل، تاریخ و مسئول یا وضعیت پیگیری را ثبت کنید. راهنمای DIME، بخش اصلاح و ثبت داده
در جدول فرضی زیر مهلت همه 18:00 است. زمانهای تأییدشده دقیقاند و به یک روز و یک مبنای زمانی مربوطاند. اعلانها پیش از نخستین رویداد معتبر منتشر شدهاند و پذیرش تکلیف هم پیش از آن آغاز شده است. ستون دوم خلاصهٔ دادهٔ خام است؛ دو ستون بعدی کدهای جدول آمادهاند.
| دانشجو | از دادهٔ خام | بازشدن پیش از موعد | تحویل تا موعد | تصمیم و شاهد |
|---|---|---|---|---|
S01 |
بازشدن 17:10 دو بار با شناسهٔ ثبت E15؛ تحویل نهایی 16:40 |
1 |
1 |
ثبت اصلی نشان داد E15 شناسهٔ یکتای یک رویداد است و دو سطر خروجی کپیِ همان ثبتاند؛ یک بار در محاسبه به کار رفت. هر دو رخداد در بازهٔ خود هستند؛ بازشدن میتواند بعد از تحویل باشد. |
S02 |
در گزارش کامل و معتبر، فقط یک بازشدن در 18:00 و یک تحویل نهایی در 18:00 |
0 |
1 |
همان ساعت برای بازشدن خارج از بازه و برای تحویل داخل بازه است. |
S03 |
بازشدنی در فایل موجود دیده نمیشود؛ گزارش اعلان بخشی از بازه را ندارد. تحویل نهایی 17:50 تأیید شده است. |
NA |
1 |
بدون گزارش کامل یا شاهد معتبرِ دیگری برای بازشدن، وضعیت نامشخص ماند. شکاف گزارش ثبت و برای بازبینی به مسئول ثبت سامانه ارجاع شد. |
S04 |
بازشدن 16:55 برای تکلیفی دیگر است. زمان تنها تحویل نهایی تکلیف مرجع در فایل 71:50 است. |
0 |
0 |
گزارش اعلان تکلیف مرجع در کل بازه کامل و معتبر بود و بازشدنی نداشت. ثبت اصلیِ تحویل با شناسهٔ رویداد تطبیق داده شد: 18:10، بعد از موعد. گزارش تحویل برای کل بازهٔ سنجه کامل و معتبر بود؛ ساعت فقط در نسخهٔ کاری اصلاح شد. |
S05 |
بازشدن معتبر 16:20 ثبت شده است. از تحویل نهایی ثبت معتبری نداریم و بخشی از گزارش تحویل در دسترس نیست. |
1 |
NA |
بازشدن احراز شد. برای تحویل نهایی شاهد کافی نداریم؛ مقدار نامشخص ماند و شکاف گزارش ثبت شد. |
نتیجه را چطور بررسی کنیم؟
جدول آماده را با فهرست مرجع تطبیق دهید: هر دانشجو یک ردیف دارد، تکلیف مربوط به او درست است و کدها با فرهنگ متغیر جورند. تعداد 1، 0 و مقدارهای نامشخص را برای هر ستون جدا بشمارید. اینجا برای بازشدن، دو «بله»، دو «خیر» و یک «نامشخص» داریم؛ برای تحویل، سه «بله»، یک «خیر» و یک «نامشخص». با انتخاب یک ردیف اصلاحشده و یک ردیف نامشخص، از کد نهایی به دادهٔ خام و دلیل تصمیم برگردید. اگر دلیلِ یک صفر فقط خالیبودن فایل است، پوشش و اعتبار گزارش را دوباره بررسی کنید.
برای شروع تحلیل، نسخهٔ جدول، فرهنگ متغیر و دفتر تصمیمها را کنار هم نگه دارید. اگر مسئلهٔ حلنشده میتواند پاسخ به سؤال پژوهش را تغییر دهد، پیش از نتیجهگیری آن را در برنامهٔ تحلیل مطرح کنید. ثبت «نامشخص» در این مرحله یعنی وضعیت داده مستند شده است؛ انتخاب روش تحلیل دادههای ناقص تصمیم جداگانهای است. اگر دادهٔ ناقص شما از پاسخهای پرسشنامه آمده، درس دادهٔ گمشده در پرسشنامه توضیح میدهد چرا علت بیپاسخی اهمیت دارد.
منابع
- Bjärkefur, K., Cardoso de Andrade, L., Daniels, B., & Jones, M. R. (2021). Development Research in Practice: The DIME Analytics Data Handbook، فصل ۵: Cleaning and processing research data. World Bank، نسخهٔ وب؛ DOI کتاب:
10.1596/978-1-4648-1694-9. - Government Data Quality Hub. (2020). The Government Data Quality Framework. GOV.UK، بخش ابعاد کیفیت داده.
- Rotelli, D., & Monreale, A. (2023). Processing and Understanding Moodle Log Data and Their Temporal Dimension. Journal of Learning Analytics, 10(2), 126–141. DOI:
10.18608/jla.2023.7867. - Statistics Canada. (2010). Survey Methods and Practices. شمارهٔ کاتالوگ
12-587-X، بخش ۱۰٫۳، صص. ۲۰۲–۲۰۳.
جایگاه این مطلب در نقشهٔ پژوهش
مهارتها
قالب محتوا و نوع خروجی
این مطلب در کدام روشهای پژوهش به کار میآید؟
- پژوهش کمی
وقتی باید ثبتها را تطبیق دهید، کدگذاری کنید و نسخهٔ آمادهٔ تحلیل بسازید.