۴ نوع روایی که پیش از استفاده از پرسشنامه باید بشناسیم
روایی صوری، محتوایی، سازه و ملاکی؛ تفاوت بین «ظاهر مناسب»، «پوشش مفهوم» و «شواهد تجربی».
آمادهٔ مطالعهدر مقالهای نوشتهاند «پرسشنامه روایی دارد». پیش از استفاده از آن بپرسید: چه شواهدی دارم که برداشت مرا از نمرهٔ این نسخه، برای گروه و کاربرد موردنظرم، پشتیبانی میکند؟ روایی یعنی شواهد و توضیح نظری تا چه اندازه از تفسیر نمرهها برای یک کاربرد مشخص پشتیبانی میکنند. ممکن است شواهد کافی برای توصیف وضعیت یک گروه داشته باشید، اما همان شواهد برای تصمیمگیری دربارهٔ تکتک افراد کافی نباشد. استانداردهای سنجش آموزشی و روانشناختی، فصل ۱، صص. ۱۱–۱۴
مثال: نمرهٔ «پیگیری تکلیف» چه معنایی دارد؟
در یک مثال فرضی، میخواهیم پیگیری تکلیف را در میان دانشجویان درسهای آنلاین یک دانشکده، در یک نیمسال، توصیف کنیم. برای هر دانشجو از پیش یک تکلیف مرجع مشخص میکنیم. «پیگیری تکلیف» را برای این پژوهش شامل باخبرشدن از موعد، مراجعه به دستور تکلیف و شروع کار پیش از موعد میدانیم. یک پرسشنامهٔ فرضی دربارهٔ این رفتارها، یکی از سنجهها است و نمرهاش بر پایهٔ گزارش خود دانشجو به دست میآید. ثبت بازشدن اعلان در سامانه سنجهٔ جداگانهای است: بازشدن، خواندن یا فهمیدن اعلان را نشان نمیدهد. اگر پرسش پژوهش فقط دربارهٔ بازشدنِ ثبتشده باشد، راهنمای وصلکردن مفهوم به سنجه نشان میدهد چطور همان رویداد را تعریف کنید.
چهار نام، چهار پرسش برای بررسی
صوری، محتوایی، سازه و ملاکی نامهایی هستند که در نوشتههای طراحی پرسشنامه میبینید. اینجا از آنها بهعنوان چهار زاویهٔ آموزشی استفاده میکنیم. در چارچوب استاندارد، روایی مفهومی واحد است و برای داوری دربارهٔ آن از منابع متفاوت شواهد کمک میگیریم؛ چهار نام زیر نه چهار نوع مستقل و جامعاند و نه چهار مهر تأیید روی ابزار. شواهد لازم را ادعایی تعیین میکند که میخواهید بر پایهٔ نمره مطرح کنید. اوستروِلد و همکاران، جدول ۱ و بحث؛ استانداردها، صص. ۱۳–۱۴
۱. روایی صوری: سؤال در نگاه اول مناسب و روشن به نظر میرسد؟
از چند نفر از مخاطبان بپرسید آیا سؤال، دستور و گزینهها در نگاه اول روشن و مرتبط به نظر میرسند. مثلاً ممکن است دانشجو بگوید عبارت «پیش از موعد کار روی تکلیف را شروع کردم» به نظرش روشن است. این برداشت اولیه مفید است. اما اگر از او بخواهید بگوید «شروع کار» برایش چه معنایی داشته و برای پاسخ به کدام رفتار فکر کرده، دربارهٔ فرایند پاسخ سرنخ به دست میآورید: شاید او فقط بازکردن صفحهٔ تکلیف را در نظر گرفته باشد. این دو مشاهده به دو پرسش متفاوت جواب میدهند. اوستروِلد و همکاران، صص. ۲۵۰۳–۲۵۰۴؛ استانداردها، صص. ۱۵–۱۶
۲. روایی محتوایی: مجموعهٔ سؤالها بخشهای مهم مفهوم را پوشش میدهد؟
تعریف «پیگیری تکلیف» را کنار سؤالها بگذارید. اگر همهٔ سؤالها دربارهٔ مراجعه به اعلان باشند، از مراجعه به دستور تکلیف یا شروع کار چیزی نمیپرسند. از افراد آشنا با موضوع بخواهید مشخص کنند هر سؤال کدام بخشِ تعریف را میپوشاند، چه چیزی جا افتاده و کدام سؤال بیربط است. چند نظر کلیِ موافق نشان نمیدهد که پوشش بهطور منظم بررسی شده است. حتی پوشش خوب هم بهتنهایی معنای نمره را برای کاربرد موردنظر ثابت نمیکند. استانداردها، صص. ۱۴–۱۵ و بند ۱٫۱۱
۳. روایی سازه: الگوی پاسخها با معنایی که به نمره میدهیم جور درمیآید؟
سازه همان مفهومی است که میخواهید بسنجید؛ اینجا «پیگیری تکلیف». اگر میخواهید از یک نمرهٔ کلی استفاده کنید، بررسی کنید رابطهٔ پاسخها به سؤالهای مختلف با این شیوهٔ نمرهدهی سازگار است. این بررسی به ساختار درونی پرسشنامه مربوط است. اگر تعریف شما پیشبینی میکند نمره با رفتار مرتبطی همسو باشد، آن رابطه را هم میتوان بررسی کرد؛ مثلاً با یک ثبت جداگانه از زمان شروع کار، اگر چنین ثبت قابل اتکایی دارید. تحلیل عاملی در بعضی مقیاسها به بررسی ساختار درونی کمک میکند. هیچ تحلیل یا همبستگیِ تکی همهٔ معنای نمره را روشن نمیکند. در نگاه استاندارد، شواهد مربوط به معنای سازه به این دو بررسی محدود نمیشوند. استانداردها، صص. ۱۶–۱۷ و بندهای ۱٫۱۳ و ۱٫۱۶
۴. روایی ملاکی: نمره با یک ملاک بیرونیِ مرتبط چه رابطهای دارد؟
ملاک یک سنجه یا پیامد بیرون از پرسشنامه است که باید به کاربرد نمره مربوط باشد. بررسیِ ملاک یکی از راههای بررسی رابطهٔ نمره با متغیرهای دیگر است. مثلاً اگر ادعا این است که نمرهٔ پرسشنامه میتواند تحویل بهموقع را پیشبینی کند، پیش از موعد پرسشنامه را برای کسانی اجرا کنید که هنوز تکلیف را تحویل ندادهاند. بعد رابطهٔ نمره را با «تحویل ثبتشدهٔ همان تکلیف تا موعد» بررسی کنید.
کیفیت ثبت و کاملبودن گزارش سامانه را هم بررسی کنید؛ مثلاً تحویل از راه دیگر ممکن است در گزارش دیده نشود. تحویل بهموقع میتواند به فرصت یا مشکل دسترسی هم مربوط باشد و معیار طلایی کل «پیگیری تکلیف» نیست. اگر هدفتان فقط توصیف پیگیری است، لازم نیست برای تکمیل این چهار عنوان یک پیامد بیرونی پیدا کنید. استانداردها، صص. ۱۴ و ۱۶–۱۷ و بند ۱٫۱۷
پایایی به ثبات یا دقت نمرهها در شرایط تعریفشده میپردازد. حتی اگر پاسخها به چند سؤال دربارهٔ مراجعه به اعلان نمرهای باثبات بدهند، این ثبات نشان نمیدهد که آن نمره جنبههای دیگر پیگیری تکلیف را هم میسنجد. استانداردها، فصل ۲، صص. ۳۳–۳۴ و ۴۱
پیش از استفاده یا ترجمهٔ پرسشنامه چه بپرسیم؟
- نمره از کدام سؤالها و با چه قاعدهای به دست میآید؟ برای چه گروهی، به چه زبان و برای چه کاربردی بررسی شده است؟
- کدام شواهد به تفسیر و کاربرد من مربوطاند؟ مثلاً برای یک نمرهٔ کلی، آیا مطالعهٔ قبلی از همین شیوهٔ نمرهدهی پشتیبانی میکند؟
- اگر نسخه را ترجمه یا تغییر میدهم، مجوز لازم را دارم؟ از کجا میدانم اعضای گروه تازه دستورها و سؤالها را به معنای موردنظر میفهمند؟
- چه شاهدی کم است و برای تصمیم من چه اهمیتی دارد؟ میتوانم آن را گردآوری کنم، تفسیر نمره را محدود کنم یا ابزار مناسبتری انتخاب کنم؟
ترجمهٔ روان بهتنهایی کافی نیست. بررسی کنید با توجه به تفاوت زبان، گروه و شیوهٔ اجرا، کدام شواهد نسخهٔ اصلی به کاربرد شما مربوط میشوند و کجا به شواهد تازه نیاز دارید. در گزارش پژوهش بنویسید برای کدام نمره، در کدام گروه و برای کدام کاربرد شواهد دارید و چه چیزی هنوز روشن نیست. استانداردها، بندهای ۱٫۱ تا ۱٫۴؛ راهنمای ترجمه و انطباق آزمونها، بندهای PC-1، PC-2، TD-3 و C-3
منابع
- American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for Educational and Psychological Testing. American Educational Research Association. صفحهٔ رسمی دریافت نسخهها.
- Oosterveld, P., Vorst, H. C. M., & Smits, N. (2019). Methods for questionnaire design: A taxonomy linking procedures to test goals. Quality of Life Research, 28(9), 2501–2512. DOI:
10.1007/s11136-019-02209-6. - International Test Commission. (2017). ITC Guidelines for Translating and Adapting Tests. چاپ دوم، نسخهٔ ۲٫۴.
جایگاه این مطلب در نقشهٔ پژوهش
کاربرد در موضوعهای دیگر
مهارتها
قالب محتوا و نوع خروجی
این مطلب در کدام روشهای پژوهش به کار میآید؟
- پژوهش کمی
در استفاده یا ساخت پرسشنامه و مقیاس سنجشِ مرتبط.
- پژوهش آمیخته
در بخش دارای این ابزار سنجش.