نگار شریفی یگانه

هدف: بنا به مصوبه شورای عالی انقلاب فرهنگی قرار است سازمان سنجش در سال دو بار آزمون سراسری برگزار کند و نمره هر آزمون تا دو سال اعتبار خواهد داشت. هدف این پژوهش معرفی و اجرای روش های مناسب هم ترازی در چهارچوب تئوری کلاسیک آزمون سازی است تا بتوان نمرات آزمون های دوره های مختلف را مقایسه کرد و بر اساس آنها دانشجویان را به شیوه ای عادلانه انتخاب کرد.روش پژوهش: بر اساس طرح گروه های نابرابر با سوالات مشترک سه فرم آزمون X ، Y و Z حساب دیفرنسیل روی 3 گروه 600، 1111 و 2200 نفری به طور آزمایشی اجرا شده. تعداد سوال هر فرم در کل 21، 21 و 20 به ترتیب هر کدام با 6 سوال مشترک بوده است. داده ها در نرم افزار R با پکیج equate (آلبانو، 2018) تحلیل شده اند. تابع هم ترازی هم صدک برای هم ترازکردن این فرم ها به کار رفته؛ فرایند پیش هم وارسازی با تبدیلات لگاریتم خطی صورت گرفته تا پارامترها با خطای معیار کمتر و نمرات با دقت بیشری برآورد شوند.یافته ها: میانگین دشواری این سه فرم آزمون X ، Y و Z به ترتیب، 03/9، 61/7 و 79/7 است. هم چنین هر سه فرم دارای چولگی متفاوت به ترتیب 20/0، 52/0 و 39/0 می باشد.نتیجه گیری: در طرح گروه های نابرابر به دلیل دشواری متفاوت فرمهای آزمون ها نیازمند سوالات مشترک است و چولگی راست توزیع نمرات مستلزم استفاده از تابع هم ترازی هم صدک به عنوان مناسب ترین تابع برای هم ترازکردن  نمرات است؛ برای آزمون هایی که نمی توان سوالات مشترک تهیه کرد، پیشنهاد می شود به دلیل چولگی راست توزیع نمرات با همان تابع هم ترازی هم صدک آنها را پیوند داد.

زمینه: یکی از چالش های اساسی گذر از آزمون های مداد – کاغذی به انطباقی کامپیوتری عادلانه بودن است که ارزیابی آن در چارچوب کارکرد افتراقی ضرورتی اجتناب ناپذیر می باشد. هدف: هدف مطالعه حاضر بررسی کارکرد افتراقی، ارزیابی عوامل مداخله گر در میزان آشکارسازی و معرفی روش بهینه مطالعه کارکرد افتراقی در سنجش انطباقی کامپیوتری بود. روش: با توجه به مسئله پژوهش از روش تجربی استفاده شد. گردآوری داده ها و دستکاری متغیرها با استفاده از روش شبیه سازی صورت گرفت. پاسخ های گروه نمونه 1000 نفری (گروه مرجع و کانونی با حجم یکسان 500 نفری) به بانک 55 سؤالی دوارزشی براساس مدل لجستیک سه پارامتری در 20 تکرار شبیه سازی شد. 15 سؤال بانک از نظر نوع و اندازه کارکرد افتراقی دستکاری شدند و اثر آزمون براساس تفاوت میانگین توانایی گروه های مقایسه تعیین گردید. آزمون انطباقی کامپیوتری 30 سؤالی با نرم افزار Firestar اجرا شد. تحلیل کارکرد افتراقی با روش رگرسیون لجستیک و آزمون نسبت درستنمایی صورت گرفت و روش ها براساس توان و خطای نوع اول مقایسه شدند. یافته ها: میزان خطای نوع اول روش آزمون نسبت درستنمایی کم تر از رگرسیون لجستیک بود. توان هر دو روش متاثر از نوع، مقدار کارکرد افتراقی و اثر آزمون بود. روش آزمون نسبت درستنمایی در شناسایی کارکرد افتراقی یکنواخت در هر دو موقعیت اثر و بدون اثر نسبت به روش رگرسیون لجستیک توان بیشتری داشته است و با افزایش شدت کارکرد افتراقی توان نیز افزایش یافته است. در ارزیابی کارکرد افتراقی غیریکنواخت تفاوتی بین روش ها مشاهده نشد و هر دو روش توان کمی داشتند. نتیجه گیری: با توجه به توان و میزان خطای نوع اول، روش آزمون نسبت درستنمایی رویکرد مطلوب در بررسی کارکرد افتراقی یکنواخت است، در حالی که ارزیابی کارکرد افتراقی غیریکنواخت مستلزم مطالعات تکمیلی می باشد.

هدف مطالعه حاضر تعیین مقایسه پذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد – کاغذی و تعیین الگوریتم بهینه آزمون انطباقی کامپیوتری بر اساس روش های مختلف برآورد توانایی (بیشینه درست نمایی و پسین مورد انتظار) و ملاک خاتمه آزمون (خطای استاندارد ثابت و طول ثابت آزمون) در آزمون های خطیر بود. جامعه پژوهش شامل تمامی شرکت کنندگان آزمون سراسری گروه آزمایشی علوم ریاضی و فنی سال 1392 بود که از میان آنها تعداد 1000 آزمودنی با روش نمونه گیری تصادفی انتخاب شدند. تحلیل سؤال های آزمون ریاضی با استفاده از مدل لجستیک سه پارامتری صورت گرفت. 40 مجموعه داده با حجمی برابر با داده های واقعی شبیه سازی شد و شبیه سازی پس تجربی آزمون انطباقی کامپیوتری انجام شد. یافته های تحلیل بیانگر همبستگی بالای برآورد توانایی اجرای انطباقی کامپیوتری و مداد-کاغذی خرده آزمون ریاضی بود. همچنین مقادیر سوگیری، میانگین قدر مطلق تفاوت برآوردهای توانایی آزمون انطباقی کامپیوتری و مداد- کاغذی و ریشه میانگین مجذور تفاوت بیانگر آن بود که برآوردهای توانایی آزمون انطباقی کامپیوتری در روش برآورد پسین مورد انتظار در راستای برآورد توانایی آزمون کامل است. نتایج نشان داد که آزمون انطباقی کامپیوتری قادر به بازیابی توانایی در خرده آزمون ریاضی است. به علاوه روش برآورد پسین مورد انتظار و ملاک خاتمه خطای استاندارد ثابت 3/0 الگوریتم بهینه دستیابی به اهداف پایایی مناسب، طول منطقی آزمون و بازیابی برآورد توانایی در اجرای انطباقی کامپیوتری خرده آزمون ریاضی است.

آزمون ها می بایست برای تمام افراد جامعه از هر جنس، نژاد، سن، موقعیت اجتماعی و اقتصادی عادلانه باشد. بر این اساس ارزیابی وجود سوگیری و کارکرد افتراقی در سئوال های آزمون ها بسیار حائز اهمی ت است. در مطالعه حاضر کارکرد افتراقی جنسیتی با استفاده از روش مانتل - هنزل و روش مبتنی بر نظریه سئوال- پاسخ مورد بررسی قرار گرفته است. در ابتدا مبانی نظری و روش های ارزیابی کارکرد افتراقی معرفی شده است و در ادامه به منظور ارائه نمونه عملی، پاسخ های یک نمونه تصافی طبقه ای4000 نفری مشتمل بر 2200 آزمودنی مرد و 1800 زن به 55 سئوال آزمون ریاضی کنکور سراسری مورد تحلیل قرار گرفته است. نتایج تحلیل بیانگر آن است که سئوال های آزمون دارای کارکرد افتراقی است. در بررسی کارکرد افتراقی با استفاده از روش مانتل هنزل 23 سئوال دارای شاخص مانتل هنزل معنادار بودند. بر اساس رویکرد سئوال - پاسخ نیز 9 سئوال دارای کارکرد افتراقی جنسیتی بودند که همگی به نفع دختران بودند. سئوال های دارای کارکرد افتراقی به نفع دختران بیشتر در حوزه محتوایی توابع و معادلات و سئوال های دارای کارکرد افتراقی به نفع پسران بیشتر در حوزه محتوایی مثلثات، هندسه و احتمال هستند.