نظریه کلاسیک آزمون سازی

یک مسئله مهم در تعیین نمره یک آزمون مرکب، نحوه ترکیب نمره بخش های مختلف آزمون یا اصطلاحاً خرده آزمون ها به منظور محاسبه نمره کل داوطلبان است. این وزن ها باید به گونه ای انتخاب شوند که ضمن در نظر گرفتن ویژگی های روان سنجی هر خرده آزمون و مؤلفه های تعیین کننده آنها، اختلاف نمره مشاهده شده هر داوطلب با نمره واقعی که بیانگر توانایی واقعی داوطلب است را حداقل نماید. به عبارت دیگر چارچوب تصمیم گیری بر مبنای ملاحظات مختلف نظیر روایی محتوا (اعتبار)، دفعات آزمون، پایایی و ... طراحی می شود. برای به دست آوردن حداکثر پایایی در نمره مرکب روش های مختلفی در چند دهه اخیر پیشنهاد شده است. این روش ها به دو دسته کلی، روش های ضمنی و عینی تقسیم می شوند. روش های ضمنی شامل جمع کردن نمرات خام و مدل بندی سئوال- پاسخ و روش های عینی شامل وزنی کردن مؤلفه ها به وسیله میزان دشواری سئوالات، تخصیص وزن ها به نمرات مؤلفه ها بر مبنای ماکسیمم اندازه پایایی، و وزنی کردن مؤلفه ها بر اساس ماکسیمم کردن روایی نمرات مرکب است. در این مقاله، رویکرد به دست آوردن حداکثر پایایی را در دو نظریه کلاسیک آزمون سازی و نظریه سئوال- پاسخ معرفی و ضمن بیان نقاط ضعف و قوت هر روش، برآورد پایایی نمره مرکب و خطای استاندارد اندازه گیری در این روش ها برای داده های شبیه سازی شده بررسی خواهیم کرد

این تحقیق به منظور وزن دهی بهینه به خرده آزمون ها و سؤال های آزمون سراسری برای ساخت نمره کل ترکیبی انجام شده است. هدف نهایی این تحقیق پایین آوردن خطای اندازه گیری نمره کل ترکیبی بر اساس نظریه کلاسیک آزمون سازی بود. وزن دهی در سه سطح صورت گرفته است نخست آزمون سی سؤالی چهارگزینه ای حساب دیفرانسیل که نمونه آن 3409 نفر بود بر اساس وزن دهی در سطح گزینه های سؤال (درصد محبوبیت گزینه ها، نمره فرمولی) و در سطح سؤال (سرجمع ساده بدون وزن یا وزن مؤثر سؤال، وزن عاملی سؤال و وزن دشواری سؤال) وزن دهی شده اند. همچنین در سطح خرده آزمون یک مجموعه آزمون سراسری دستیاری پزشکی با پنج خرده آزمون با طول برابر شش سؤال که نمونه آن 3572 نفر بود نیز به روش های مختلف (متوسط ضریب همبستگی پیرسون، وزن عاملی و ضرایب رگرسیون) وزن دهی شده اند. به علاوه یک مجموعه آزمون دستیاری پزشکی دیگر با طول خرده آزمون های نابرابر به ترتیب 45، 26، 24، 6 و 6 سؤال که در بین گروه 3638 نفری اجرا شده بر اساس وزن مؤثر خود خرده آزمون ها (بدون وزن) مورد بررسی قرار گرفته است. این تحقیق نشان داد که روش نمره فرمولی بیشترین واریانس خطا را نسبت به دیگر روش ها تولید می کند. تنها وزن دهی بر اساس دشواری سؤال می تواند رتبه بندی افراد را به نفع افراد شایسته تر تغییر دهد و دیگر روش های وزن دهی برای افزایش پایایی رضایت بخش نیستند و ضریب پایایی آزمون در همان ابتدا تحت تأثیر سؤال های خوب و خرده آزمون های خوش ساخت با طول بهینه است.