آزمون انطباقی کامپیوتری

زمینه: یکی از چالش های اساسی گذر از آزمون های مداد – کاغذی به انطباقی کامپیوتری عادلانه بودن است که ارزیابی آن در چارچوب کارکرد افتراقی ضرورتی اجتناب ناپذیر می باشد. هدف: هدف مطالعه حاضر بررسی کارکرد افتراقی، ارزیابی عوامل مداخله گر در میزان آشکارسازی و معرفی روش بهینه مطالعه کارکرد افتراقی در سنجش انطباقی کامپیوتری بود. روش: با توجه به مسئله پژوهش از روش تجربی استفاده شد. گردآوری داده ها و دستکاری متغیرها با استفاده از روش شبیه سازی صورت گرفت. پاسخ های گروه نمونه 1000 نفری (گروه مرجع و کانونی با حجم یکسان 500 نفری) به بانک 55 سؤالی دوارزشی براساس مدل لجستیک سه پارامتری در 20 تکرار شبیه سازی شد. 15 سؤال بانک از نظر نوع و اندازه کارکرد افتراقی دستکاری شدند و اثر آزمون براساس تفاوت میانگین توانایی گروه های مقایسه تعیین گردید. آزمون انطباقی کامپیوتری 30 سؤالی با نرم افزار Firestar اجرا شد. تحلیل کارکرد افتراقی با روش رگرسیون لجستیک و آزمون نسبت درستنمایی صورت گرفت و روش ها براساس توان و خطای نوع اول مقایسه شدند. یافته ها: میزان خطای نوع اول روش آزمون نسبت درستنمایی کم تر از رگرسیون لجستیک بود. توان هر دو روش متاثر از نوع، مقدار کارکرد افتراقی و اثر آزمون بود. روش آزمون نسبت درستنمایی در شناسایی کارکرد افتراقی یکنواخت در هر دو موقعیت اثر و بدون اثر نسبت به روش رگرسیون لجستیک توان بیشتری داشته است و با افزایش شدت کارکرد افتراقی توان نیز افزایش یافته است. در ارزیابی کارکرد افتراقی غیریکنواخت تفاوتی بین روش ها مشاهده نشد و هر دو روش توان کمی داشتند. نتیجه گیری: با توجه به توان و میزان خطای نوع اول، روش آزمون نسبت درستنمایی رویکرد مطلوب در بررسی کارکرد افتراقی یکنواخت است، در حالی که ارزیابی کارکرد افتراقی غیریکنواخت مستلزم مطالعات تکمیلی می باشد.

زمینه: روش شناسی شبکه امکان مطالعه همزمان چندین هدف را میسر می سازد و قابلیت هایی دارد که منجربه ارائه ابزارهای تحلیلی مناسب می گردد. پژوهش هایی در خصوص استفاده از تحلیل داده های شبکه در حوزه سنجش تربیتی وجود دارد اما کمتر پژوهشی است که بصورت عملی به ساخت آزمون انطباقی مبتنی بر نظریه شبکه و یا ارائه الگوریتم آن پرداخته باشد. آیا امکان استفاده از علم شبکه در ساخت آزمون های انطباقی وجود دارد؟ هدف: این مطالعه با هدف بهبود الگوریتم آزمون های انطباقی مبتنی بر تحلیل داده های شبکه بر روی زبان آموزان مراکز و مؤسسات آموزش زبان شهر تهران انجام شد. روش : این پژوهش از نوع توصیفی و تمرکز اصلی آن بر تحلیل سؤالات آزمون با تکنیک تحلیل داده های شبکه بود. جامعه آماری کلیه زبان آموزان ده مؤسسه برتر آموزش زبان شهر تهران در سال 1398 بود که قابلیت خواندن زبان انگلیسی را در حداقل سطح داشتند. از میان آنان 1556 نفر به روش نمونه گیری در دسترس انتخاب شدند. ابزار سنجش آزمون 140 سؤالی خزانه لغات انگلیسی (VST) (نیشن و وارینگ، 1997) بود. تحلیل سؤالات آزمون از طریق نظریه کلاسیک، نظریه سؤال - پاسخ و تحلیل شبکه مبتنی بر الگوریتم فراچترمن - رینگولد انجام شد. یافته ها : پارامترهای سؤالات آزمون بر اساس نظریات کلاسیک و سؤال - پاسخ محاسبه گردید. نقشه ارتباط بین سؤالات مبتنی بر الگوریتم فراچترمن - رینگولد، بر اساس آزمون آماری همبستگی تفکیکی با تعدیل آلفا (0/01< P) ترسیم شد، شاخص های مرکزیت شبکه و الگوریتم انطباقی آزمون استخراج گردید. نتیجه گیری: استفاده از مزایای تکنیک تحلیل داده های شبکه ای مانند قابلیت دیداری سازی نتایج، ارائه گزارش های ساده و جامع و در نظر گرفتن اهمیت سؤالات در ساختار شبکه ارتباطی بین سؤالات به ارتقاء روش های آزمون سازی انطباقی منجر شده است.

هدف مطالعه حاضر تعیین مقایسه پذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد – کاغذی و تعیین الگوریتم بهینه آزمون انطباقی کامپیوتری بر اساس روش های مختلف برآورد توانایی (بیشینه درست نمایی و پسین مورد انتظار) و ملاک خاتمه آزمون (خطای استاندارد ثابت و طول ثابت آزمون) در آزمون های خطیر بود. جامعه پژوهش شامل تمامی شرکت کنندگان آزمون سراسری گروه آزمایشی علوم ریاضی و فنی سال 1392 بود که از میان آنها تعداد 1000 آزمودنی با روش نمونه گیری تصادفی انتخاب شدند. تحلیل سؤال های آزمون ریاضی با استفاده از مدل لجستیک سه پارامتری صورت گرفت. 40 مجموعه داده با حجمی برابر با داده های واقعی شبیه سازی شد و شبیه سازی پس تجربی آزمون انطباقی کامپیوتری انجام شد. یافته های تحلیل بیانگر همبستگی بالای برآورد توانایی اجرای انطباقی کامپیوتری و مداد-کاغذی خرده آزمون ریاضی بود. همچنین مقادیر سوگیری، میانگین قدر مطلق تفاوت برآوردهای توانایی آزمون انطباقی کامپیوتری و مداد- کاغذی و ریشه میانگین مجذور تفاوت بیانگر آن بود که برآوردهای توانایی آزمون انطباقی کامپیوتری در روش برآورد پسین مورد انتظار در راستای برآورد توانایی آزمون کامل است. نتایج نشان داد که آزمون انطباقی کامپیوتری قادر به بازیابی توانایی در خرده آزمون ریاضی است. به علاوه روش برآورد پسین مورد انتظار و ملاک خاتمه خطای استاندارد ثابت 3/0 الگوریتم بهینه دستیابی به اهداف پایایی مناسب، طول منطقی آزمون و بازیابی برآورد توانایی در اجرای انطباقی کامپیوتری خرده آزمون ریاضی است.