خطای استاندارد اندازه گیری شرطی

برای تفسیر پذیری بهتر و مقایسه پذیر کردن نمره ی آزمون ها با همدیگر، نمره های خام به دست آمده از خرده آزمون ها را به مقیاس مشترکی تبدیل می کنند که به آن نمره مقیاس گفته می شود. روشهای متفاوت خطی و غیر خطی برای تبدیل نمره های خام به نمره های مقیاس وجود دارد. روش های متداول غیر خطی تبدیل نمره های خام به نمره های مقیاس، نرمال سازی و تبدیل آرک سینوس هستند. در این پژوهش که با هدف مقایسه خطای استاندارد اندازه گیری تبدیل نرمال و تبدیل آرک سینوس انجام گرفته از 10000 داده شبیه سازی شده و 10000 داده واقعی آزمون سراسری سال 1395 ایران بهره برده ایم. به منظور مقایسه این دو روش از نمودارها و شاخص های آماری و همچنین ویژگی های اندازه گیری بر اساس نظریه نمره قوی حقیقی از جمله خطای استاندارد اندازه گیری شرطی استفاده شد. نتایج نشان داد که دو روش تبدیل از ویژگی های متفاوتی برخوردار هستند. گرچه نمره ها در هر دو روش دارای ضریب پایایی بالایی هستند، اما روش آرک سینوس ضمن کاهش نوسان خطا برای سطوح مختلف نمره ها، دارای میانگین خطای استاندارد اندازه گیری شرطی کمتری نسبت به روش نرمال سازی بوده است.

به منظور تسهیل تفسیر نمره های خام، معمولا آنها را به نمره های مقیاس تبدیل می کنند که در بعضی مواقع این تبدیل ها یک سری تبدیل-های غیرخطی هستند و می توانند بر مقدار خطای استاندارد اندازه گیری شرطی در طول مقیاس نمره تأثیرگذار باشند. لذا اهداف این پژوهش، معرفی و مرور روش های متداول برای برآورد خطای استاندارد اندازه گیری شرطی براساس چارچوب نظریه نمره واقعی و نیز مقایسه خطای استاندارد اندازه گیری شرطی تحت تبدیل غیرخطی نرمال شده و همصدک سازی بر روی نمره های خام آزمون های پیشرفت تحصیلی دانش آموختگان رشته ریاضی فیزیک سال 1393 بودند. در این پژوهش، از نمونه تصادفی 3943 تایی از دانش آموختگان رشته ریاضی فیزیک سال 1393 که در آزمون سراسری سال 1394 شرکت کرده بودند، استفاده شد. خطای استاندارد اندازه گیری شرطی این تبدیل ها براساس روش دوجمله ای «برنان» و «لی» و همچنین روش «چنگ» و بر اساس توزیع بتا-دوجمله ای برآورد شد. نتایج این پژوهش نشان از آن دارد که خطای استاندارد اندازه گیری شرطی تحت روش چنگ، هموارتر از روش دوجمله ای است، اما در هر دو نوع تبدیل برآورد خطا در نقاط میانی، دارای مقدار بالاتر از نقاط ابتدایی و انتهایی حدود نمره ها بود و خطای استاندارد اندازه گیری شرطی همصدک سازی همواره کمتر از نرمال شده بود؛ بنابراین براساس این معیار، همصدک سازی بهتر از نرمال شده است.

 آزمون های مرکب شامل چند خرده آزمون هستند که ممکن است به لحاظ محتوا و تعداد پرسش ها متفاوت باشند. برای تفسیر پذیری بهتر و مقایسه پذیر کردن نمره خرده آزمون ها، نمره خام به دست آمده از خرده آزمون ها به مقیاس مشترکی تبدیل می شود که به آن نمره مقیاس گفته می شود. یکی از روش های مرسوم تبدیل نمره های خام به نمره های مقیاس، تبدیل مقیاس نرمال است. در این تبدیل از فراوانی تراکمی و رتبه درصدی هر نمره برای ساختن نمره مقیاس استفاده می شود. هدف این پژوهش، بررسی اثر به کارگیری روش پیش هموار سازی فراوانی نمره ها و پس هموارسازی آنها بر میزان خطای استاندارد اندازه گیری شرطی نمره های مقیاس است. برای بررسی این اثر از 10000 داده شبیه سازی شده و 10000 داده واقعی آزمون سراسری ایران در گروه آزمایشی ریاضی و فنی در سال 1395 بهره گرفته شد. همچنین از روش های هموارسازی دو جمله ای کرنل و هموارسازی اسپلاین به ترتیب برای هموار کردن فراوانی نسبی نمره ها و نمره های مقیاس استفاده شد. برای مقایسه نمره های مقیاس ساخته شده از خطای استاندارد اندازه گیری شرطی نمره ها بهره گرفته شد. نتایج پژوهش، نشان دهنده مقدار بالای ضریب پایایی برای همه روش ها بود. ضمن اینکه تحلیل نمودار و میانگین خطای استاندارد اندازه گیری شرطی نشان داد که در آن دسته از روش های تبدیل نمره های خام به نمره های مقیاس که از پیش هموار سازی فراوانی، استفاده شده است، میانگین خطای استاندارد اندازه گیری شرطی کمتر بوده و استفاده از پیش هموار سازی تا حد مطلوبی نوسان خطا برای سطوح مختلف نمره ها را کاهش داده است.

هدف از نگارش این مقاله، انتخاب روشی مناسب برای مرتبط کردن نمره های سوابق تحصیلی به نمره های آزمون سراسری ورود به دانشگاه به جای استفاده از روش نرمال سازی بود. سپس دو روش مورد اشاره بر اساس خطای استاندارد اندازه گیری شرطی مقایسه شدند. برای دستیابی به این هدف، نمونه ای 5000 نفری از جامعه دانش آموزان دانش آموخته سال 1393 رشته ریاضی فیزیک انتخاب شد که در آزمون سراسری ورود به دانشگاه سال 1394 شرکت کرده بودند. پس از بررسی عامل های معرفی شده توسط «دوران» روی نمره ها و نیز نظر پمریچ و همکاران (2004)، تطابق برای مرتبط کردن نمره ها در نظر گرفته شد. سپس روش های میانگین، خطی و همصدک سازی برای تبدیل نمره های آزمون های پیشرفت تحصیلی به آزمون سراسری ورود به دانشگاه استفاده شد. نتایج نشان داد که روش همصدک سازی کمتر به گروه وابسته است؛ بدین سان، با استفاده از این روش، نمره های این آزمون ها برای تصمیم گیری ها با یکدیگر قابل مقایسه هستند. همچنین، در این پژوهش نشان داده شد که خطای استاندارد اندازه گیری شرطی برای روش ارائه شده بسیار کمتر از روش مورد استفاده توسط سازمان سنجش آموزش کشور است.

هدف: تصمیم پذیرش در آزمونها بیشتر براساس نمره ای است که در آن آزمون کسب می شود. آزمون می تواند از چند خرده آزمون با محتوای متفاوت تشکیل شده باشد که به آن آزمون مرکب و نمره حاصل، نمره کل نامیده می شود. روش های متفاوت نمره کل سازی موجب تغییر در تصمیم پذیرش افراد می شود. این پژوهش با هدف رتبه بندی روش هایی که برای ساختن نمره کل استفاده می شود، انجام شده است.روش پژوهش: از 10000 نمونه تصادفی آزمون سراسری در هفت خرده آزمون برای رتبه بندی شش روش نمره کل سازی بهره گرفته شده است. نمره خام از مجموع پاسخ های صحیح به دست آمده و از روش های نرمال سازی و آرک سینوس برای تبدیل نمره ها به نمره های مقیاس بهره برده شده است. از طرح های وزن دهی اسمی، موثر و شانون برای ساخت نمره کل استفاده گردید. به منظور رتبه بندی روش های نمره کل سازی بر اساس خطای استاندارد اندازه گیری شرطی آنها از رویکردی مبتنی بر تصمیم گیری چند شاخصه استفاده شد.یافته ها: نتایج نشان داد که آن دسته از روش های نمره کل سازی که از مقیاس آرک سینوس و از طرح های وزن دهی اسمی و یا شانون بهره می برند، حائز رتبه های بالاتری شدند و در صورت استفاده از آنها در نمره کل سازی ، خطای کمتری مرتکب خواهیم شد.نتیجه گیری: استفاده از نمره مقیاس آرک سینوس، به دلیل خطای کمتر، تبدیل و راحت تر می تواند به تفسیرپذیری و دقت بیشتر نمره های آزمون های مرکب کمک کند، ضمن اینکه روش های متفاوت وزن دهی تاثیر چندانی بر دقت نمره ها نداشته و مطابق با شرایط آزمون و تصمیم آزمون ساز می توانند مورد استفاده قرار بگیرند.