کارکرد افتراقی سؤال

افت در پارامترهای سؤال هنگامی به وجود می آید که در طول زمان و بنابر دلایل مختلف، سؤالات آزمون ویژگی های اولیه خود مانند درجه دشواری و قدرت تشخیص را از دست بدهند. ازجمله موارد ایجادکننده افت در پارامترهای سؤال فاش شدن سؤالات، تکرار بیش ازاندازه، تغییر در نظام آموزشی کشور، موقعیت قرار گرفتن سؤال و پارامترپردازی ضعیف اولیه هستند. وجود افت در پارامترهای سؤال سبب نقض ویژگی تغییرناپذیری می شود. دو نوع افت یکنواخت (تغییر پارامتر تشخیص) و غیریکنواخت (تغییر در پارامتر دشواری) وجود دارد. ازنظر مفهومی و روش شناسی این مفهوم موازی با مفهوم کارکرد افتراقی سؤال است با این تفاوت که به جای تفاوت های گروهی دوره های مختلف زمانی بررسی می شوند. جهت شناسایی و ردیابی افت در پارامترهای سؤال پس از رعایت مفروضه تک بعدی بودن با کمی تغییر از روش های شناسایی کارکرد افتراقی سؤال استفاده می شود. پس از شناسایی افت باید مشخص شود که آیا تغییراتی در محتوا، شرایط انگیزشی، مدت زمان پاسخگویی و مکان سؤال در مقایسه با زمانی که سؤال طراحی شده به وجود آمده است. اگر هرکدام از این شرایط وجود داشته باشد سؤال باید از مجموعه سؤال ها حذف شود و یا مجدداً پارامترپردازی شود.

زمینه: یکی از چالش های اساسی گذر از آزمون های مداد – کاغذی به انطباقی کامپیوتری عادلانه بودن است که ارزیابی آن در چارچوب کارکرد افتراقی ضرورتی اجتناب ناپذیر می باشد. هدف: هدف مطالعه حاضر بررسی کارکرد افتراقی، ارزیابی عوامل مداخله گر در میزان آشکارسازی و معرفی روش بهینه مطالعه کارکرد افتراقی در سنجش انطباقی کامپیوتری بود. روش: با توجه به مسئله پژوهش از روش تجربی استفاده شد. گردآوری داده ها و دستکاری متغیرها با استفاده از روش شبیه سازی صورت گرفت. پاسخ های گروه نمونه 1000 نفری (گروه مرجع و کانونی با حجم یکسان 500 نفری) به بانک 55 سؤالی دوارزشی براساس مدل لجستیک سه پارامتری در 20 تکرار شبیه سازی شد. 15 سؤال بانک از نظر نوع و اندازه کارکرد افتراقی دستکاری شدند و اثر آزمون براساس تفاوت میانگین توانایی گروه های مقایسه تعیین گردید. آزمون انطباقی کامپیوتری 30 سؤالی با نرم افزار Firestar اجرا شد. تحلیل کارکرد افتراقی با روش رگرسیون لجستیک و آزمون نسبت درستنمایی صورت گرفت و روش ها براساس توان و خطای نوع اول مقایسه شدند. یافته ها: میزان خطای نوع اول روش آزمون نسبت درستنمایی کم تر از رگرسیون لجستیک بود. توان هر دو روش متاثر از نوع، مقدار کارکرد افتراقی و اثر آزمون بود. روش آزمون نسبت درستنمایی در شناسایی کارکرد افتراقی یکنواخت در هر دو موقعیت اثر و بدون اثر نسبت به روش رگرسیون لجستیک توان بیشتری داشته است و با افزایش شدت کارکرد افتراقی توان نیز افزایش یافته است. در ارزیابی کارکرد افتراقی غیریکنواخت تفاوتی بین روش ها مشاهده نشد و هر دو روش توان کمی داشتند. نتیجه گیری: با توجه به توان و میزان خطای نوع اول، روش آزمون نسبت درستنمایی رویکرد مطلوب در بررسی کارکرد افتراقی یکنواخت است، در حالی که ارزیابی کارکرد افتراقی غیریکنواخت مستلزم مطالعات تکمیلی می باشد.

آزمون ها می بایست برای تمام افراد جامعه از هر جنس، نژاد، سن، موقعیت اجتماعی و اقتصادی عادلانه باشد. بر این اساس ارزیابی وجود سوگیری و کارکرد افتراقی در سئوال های آزمون ها بسیار حائز اهمی ت است. در مطالعه حاضر کارکرد افتراقی جنسیتی با استفاده از روش مانتل - هنزل و روش مبتنی بر نظریه سئوال- پاسخ مورد بررسی قرار گرفته است. در ابتدا مبانی نظری و روش های ارزیابی کارکرد افتراقی معرفی شده است و در ادامه به منظور ارائه نمونه عملی، پاسخ های یک نمونه تصافی طبقه ای4000 نفری مشتمل بر 2200 آزمودنی مرد و 1800 زن به 55 سئوال آزمون ریاضی کنکور سراسری مورد تحلیل قرار گرفته است. نتایج تحلیل بیانگر آن است که سئوال های آزمون دارای کارکرد افتراقی است. در بررسی کارکرد افتراقی با استفاده از روش مانتل هنزل 23 سئوال دارای شاخص مانتل هنزل معنادار بودند. بر اساس رویکرد سئوال - پاسخ نیز 9 سئوال دارای کارکرد افتراقی جنسیتی بودند که همگی به نفع دختران بودند. سئوال های دارای کارکرد افتراقی به نفع دختران بیشتر در حوزه محتوایی توابع و معادلات و سئوال های دارای کارکرد افتراقی به نفع پسران بیشتر در حوزه محتوایی مثلثات، هندسه و احتمال هستند.

این مطالعه با هدف بررسی اثر تک زبانه، دوزبانه بودن دانش آموزان ایرانی بر بعدیت، وابستگی مکانی سؤال، تأثیر و کارکرد افتراقی سؤال متن های مطالعه پرلز 2011 انجام گرفت. بعدیت با مقایسه مدل تک بعدی پاسخ مدرج شده با مدل دوعاملی چندبعدی نظریه سؤال-پاسخ، تأثیر و وابستگی مکانی سؤال با استفاده از مدل دوسطحی دوعاملی و کارکرد افتراقی سؤال با مدل دوعاملی چندگروهی کای و همکاران (2011) بررسی شد. نتایج بعدیت نشان داد مدل دوعاملی نسبت به مدل پاسخ مدرج شده برازندگی بهتری با داده ها دارد و وابستگی مکانی سؤال بین سؤال های دو صفت ادبی موجب انحراف از تک بعدی بودن شده است، تفاوت زبانی نیز مقدار زیادی از واریانس آنها را تبیین می کند. نتایج تأثیر نشان داد متوسط برآورد توانایی های تک زبانه ها بالاتر از دوزبانه ها است. همچنین نتایج نشان داد سؤال ها با کارکرد افتراقی یکنواخت برای تک زبانه ها دشوارتر از دوزبانه ها هستند و در سؤال های چندگزینه ای با کارکرد افتراقی غیر یکنواخت تک زبانه ها عملکرد بهتری دارند. به طور کلی، نتایج نشان داد صفات مرتبط با دو متن در بین دانش آموزان تک زبانه و دوزبانه به گونه متفاوتی ادراک می شوند و در بین دوزبانه ها وابستگی مکانی سؤال بیشتر از تک زبانه ها است. همچنین نتایج حاکی از تفاوت عملکرد دانش آموزان تک زبانه –دوزبانه در سؤال ها با شکل آمیخته است.