مطالعه بزرگ مقیاس

بی پاسخی چالشی اجتناب ناپذیر در برابر مطالعات بزرگ مقیاس است و می تواند از یک سو موجب اتلاف هزینه، زمان و نیروی انسانی درگیر در گردآوری داده ها شود و از سوی دیگر، مطالعه را از رسیدن به اهدافش به ویژه توزیع نمرات باز دارد. از این رو، روش های جایگزینی برای برآورد پاسخ پرسش های بی پاسخ ابداع شده اند تا امکان استنباط از یک مجموعه داده کامل شده را فراهم آورند. این مقاله از طریق شبیه سازی روی یک مجموعه داده واقعی بر اساس یک الگوی طرح آزمایش چندمتغیره، دقت سه مدل جایگزینی را شامل لُجیت های تراکمی، پاسخ مدرج و پرسش پاسخ تبیینی مورد ارزیابی قرار می دهد. یافته ها نشان می دهند که تحت بی پاسخی تصادفی، جایگزینی های هر سه مدل در حدی مطلوب قرار دارند هر چند جایگزینی های مدل پرسش پاسخ تبیینی همواره دقیق تر از دو مدل دیگر است. اگر بی پاسخی غیرتصادفی باشد، تنها در نرخ بی پاسخی 5 درصد به نتایج مطلوبی برای مدل پرسش پاسخ تبیینی دست خواهیم یافت و دقت دو مدل دیگر قابل پذیرش نیست. همچنین، یافته ها حاکی از آن هستند که جایگزینی پرسش های دارای بی پاسخی و محاسبه نمره کل فرد از ترکیب پاسخ های جایگزین شده و پاسخ های واقعی کم خطاتر از جایگزینی مستقیم نمره کل او است.

بی پاسخی پرسش چالشی جدی پیش روی اندازه گیری ها در مطالعات بزرگ مقیاس است، مطالعاتی که نقشی اساسی در تصمیم گیری ها و سیاست گذاری مربوط به آموزش و فرهنگ ایفا می کنند. به دلیل ایجاد سوگیری و خطا در برآورد پارامترهای توزیع نمره ها و شاخص های روان سنجی، چالش بی پاسخی هم بر فرایند ساخت وسیله اندازه گیری و هم بر استفاده از آن اثر می گذارد. از این رو، هدف این مقاله تأثیر نرخ های مختلف بی پاسخی پرسش را بر تعدادی از این شاخص ها و پارامترها تحت سازوکارهای کاملاً تصادفی و غیرتصادفی با استفاده از یک مجموعه داده واقعی شبیه سازی می کند. یافته ها نشان می دهند که بی پاسخی کاملاً تصادفی کمتر از 5 درصد قابل چشم پوشی است مشروط بر آنکه افراد بی پاسخ متفاوت از افراد دارای پاسخ نباشند. در مقابل، اگر بی پاسخی با هر نرخی غیرتصادفی باشد، شاخص های روان سنجی (آلفای کرونباخ، ضریب پایایی دو نیمه کردن، ضریب روایی) و پارامترهای توزیع نمره ها (میانگین، انحراف معیار و چارک های نمره ها) می توانند دارای سوگیری و نادقیق باشند. همچنین، بی پاسخی غیرتصادفی می تواند به فاصله های اطمینان عریض و نتایج گمراه کننده ای منجر شود. از این رو، شواهد حاصل از این مطالعه شبیه سازی از حذف افراد بی پاسخ برای رفع مشکل بی پاسخی حمایت نمی کند.