کنش افتراقی سؤال

پژوهش حاضر با هدف ساخت، پایاسازی و اعتباریابی ابزار اندازه گیری برای اعتبارسنجی و تضمین کیفیت نظام آموزش عالی ایران انجام شده است. برای انجام این پژوهش، از روش تحقیق ترکیبی با طرح اکتشافی–مدل توسعه ابزار استفاده شده است. ابتدا در بخش کیفی پژوهش با استفاده از روش نظریه زمینه ای و مصاحبه با 36 نفر از خبرگان آموزش عالی، پرسشنامه ای با 25 مؤلفه و 157 خرده مؤلفه طراحی شد. سپس، در بخش کمی، پرسشنامه طراحی شده در یک مطالعه مقدماتی روی 84 نفر از خبرگان آموزش عالی ایران اجرا شد. بر اساس، بازخوردهای دریافتی به اصلاح پرسشنامه اقدام شد. سپس، نسخه نهایی و اصلاح شده آن در اختیار 293 نفر از خبرگان آموزش عالی کشور قرار داده شد. اعتبار پرسشنامه توسط صاحبنظران تأیید شده و پایایی آن به وسیله آلفای کرونباخ (982/0) محاسبه گردید. در بخش کیفی پژوهش از روش نمونه گیری هدفمند غیر احتمالی و در بخش کمی از روش نمونه گیری طبقه ای تصادفی استفاده شد. برای آزمون ابزار اندازه گیری مزبور، از تحلیل مدل یابی معادلات ساختاری استفاده شد. با انجام تحلیل عاملی مرتبه ی اول، ابزار اندازه گیری مزبور به 22 مؤلفه و 150 خرده مؤلفه اصلاح و تعدیل یافت. نتایج تحلیل عاملی تأییدی مرتبه دوم نیز نشان داد که مؤلفه های 22 گانه احصاء شده دارای بار عاملی کافی جهت پیش بینی ابزار اندازه گیری اعتبارسنجی و تضمین کیفیت نظام آموزش عالی ایران است. همچنین، شاخص های برازش، (CMIN/DF) برابر با 924/1، (RMSEA) برابر با 39/0، (GFI) برابر با 976/0، (AGFI) برابر با 939/0، (CFI) برابر با 928/0، (NNFI) برابر با 953/0، (TLI) برابر با 000/1، (IFI) برابر با 928/0 و (RFI) برابر با 925/0 نشان می-دهد، ابزار اندزه گیری طراحی شده برای اعتبارسنجی و تضمین کیفیت نظام آموزش عالی ایران از برازش بسیار مطلوبی برخوردار است.

کنکور سراسری بنا به اذعان بسیاری از کارشناسان سرنوشت سازترین آزمون در ایران است و ویژگیهای جمعیت شناختی داوطلبان از قبیل جنسیت، منطقه (پایگاه اجتماعی-اقتصادی) و استان(زبان) می توانند بر عملکرد داوطلبان ورود به دانشگاه در پاسخ به سؤالهای آزمون مؤثر باشند. اگر پاسخ به سؤالهای آزمون با کنترل توانایی آزمودنی ها تابعی از ویژگیهای جمعیت شناختی باشند، سؤالهای آزمون نسبت به آنها کنش افتراقی (DIF) دارند. هدف از پژوهش حاضر بررسی کنش افتراقی سؤال های آزمون سراسری سازمان سنجش آموزش کشور بر حسب ویژگیهای جمعیت شناختی داوطلبان است. نمونه تحقیق شامل همه آزمودنی های یک دفترچه آزمون و برخی دروس امتحانی تخصصی گروه های آزمایشی کنکور سراسری از سال 87 تا 90 بود. به منظور تحلیل DIF از رویکرد تحلیل رگرسیون لوجستیک دو وجهی استفاده شد. پس از اطمینان از تک بعدی بودن آزمون های مورد مطالعه از طریق رویکرد NOHARM، یافته های تحلیل DIF حاکی از این بود که به ترتیب بیشترین تعداد کنش افتراقی آشکار شده در سؤالهای آزمون، مربوط به متغیرهای جنسیت، سهمیه مناطق (پایگاه اجتماعی-اقتصادی) و استان(زبان) هستند، اما مقادیر اندازه های اثر بسیار کوچک و ناچیز بودند. با این وجود، بر اساس یافته های پژوهش حاضر پیشنهاد می شود که کمیته های موضوعی تشکیل شده و بر اساس قضاوت نهایی آنها، سؤالهای سودار آزمون مشخص شوند و در طراحی سؤال در آزمون های آینده مد نظر قرار گیرند.

اگرچه تحلیل مدل درخت های راش برای شناسایی سؤال های سودار آزمون های مختلف معرفی شده است، اما تحقیقات اندکی در این خصوص صورت پذیرفته است. هدف از این تحقیق استفاده از مدل درخت های راش و بررسی عوامل مداخله گر در آشکارسازی کنش افتراقی سؤال های آزمون بود. برای پاسخگویی به سؤال های تحقیق از روش مطالعات شبیه سازی و داده های آزمون اختصاصی دانشگاه علوم انتظامی امین استفاده شد. پژوهش حاضر ازنظر هدف کاربردی و ازنظر روش، توصیفی موسوم به تحقیقات روان سنجی است. جامعه آماری آزمون اختصاصی سال 1398 دانشگاه علوم انتظامی امین به تعداد 2414 نفر به صورت تمام شمار مورد تحلیل قرارگرفته است. جهت تشخیص نرخ آشکارسازی کنش افتراقی سؤال با استفاده از مدل درخت های راش از بسته DIFtree در نرم افزار R استفاده شد. نتایج حاصل از مطالعه شبیه سازی نشان داد که مدل درخت های راش، کنش افتراقی سؤال را در نمونه های با حجم بالای 1000 آزمودنی به صورت صد درصد شناسایی می کند. همچنین نتایج نشان داد که در آزمون اختصاصی دانشگاه علوم انتظامی تعداد 9 سؤال دارای کنش افتراقی سؤال هستند که در مهم ترین آن، تعداد 7 سؤال در گروه ریاضی با 18 سال سن (رسته دوم) و 6 سؤال در گروه ریاضی با 19 سال سن (رسته اول) دارای سوگیری نسبت به گروه علوم تجربی (رسته سوم) بوده وجهت آن به نفع رسته اول و دوم و به ضرر رسته سوم بوده است.

مشخص کردن گزینه های انحرافی به عنوان منابع کنش افتراقی سؤال (DIF) در سؤال های چند ارزشی اهمیت بسزایی برای طراحان و تحلیل گران سؤال دارد. هرچند DIF روش معمول بررسی تغییرناپذیری اندازه گیری است؛ این رویکرد به خصوص در سؤال های چندگزینه ای با چالش ها و محدودیت هایی همراه است. هدف این مطالعه، ارزیابی رویکرد لوجیت آشیانه ای (NLM) در شناسایی سؤال های حاوی کنش افتراقی گزینه های انحرافی (DDF) با استفاده از روش تحقیق آزمایشی (داده های شبیه سازی) و روش توصیفی-تحلیلی (داده های واقعی) بود. 6 سؤال، تحت شرایط مختلف دشواری و شیب، توزیع توانایی، وجود یا نبود کنش افتراقی و بزرگی DIF/DDF با نمونه ای به حجم 2000 و با 50 تکرار شبیه سازی شد. همچنین، داده های فرم D آزمون ریاضی کنکور 1397 با نمونه ای تصادفی به حجم 2000 مرد و زن، نمونه واقعی را تشکیل می داد. بر اساس نتایج تحلیل داده های شبیه سازی: رویکرد لوجیت آشیانه ای به طور متوسط 88 درصد سؤال های DIF دار و 97 درصد سؤال های DDF دار تحت شرایط مختلف را آشکار نمود. نرخ خطای نوع اول در اغلب شرایط بسیار نزدیک به ارزش های مورد انتظار نظری بود هرچند در شرایط توزیع نابرابر، مقداری تورم خطا نشان داد. بر اساس یافته های شبیه سازی، نرخ تشخیص کنش افتراقی متأثر از پارامترهای سؤال (دشواری و شیب) بود و با افزایش سطح DIF و یا DDF نرخ رد افزایش می یافت. مبتنی بر تحلیل داده های واقعی، 2 سؤال به طور هم زمان هردوی DIF (بزرگ و متوسط) و DDF (جزئی تا متوسط) را به نمایش گذاشت، درحالی که در رویکرد رقیبِ پاسخ اسمی، 11 سؤال به عنوان سؤال با کنش افتراقی شناسایی شد؛ بنابراین همان طور که انتظار می رفت رویکرد NLM مبتنی بر استراتژی «تقسیم بر گزینه های انحرافی» تعداد سؤال های کمتری را به عنوان DIF / DDF دار ردگیری نمود. رویکرد دومرحله ای مدل لوجیت آشیانه ای، ضمن تفکیک آزمون DDF از DIF، امکان ارزیابی روشن از اینکه آیا گزینه های انحرافی مسئول احتمالی DIF هستند را میسر می سازد. ازآنجاکه آزمون های سرنوشت ساز نقش ویژه ای در گزینش افراد دارند و تحلیل های DIF و DDF جایگاه ویژه ای در تعیین اعتبار و نامتغیر بودن اندازه گیری سؤال های این آزمون ها دارند، پیشنهاد می شود جهت سرند کردن سؤال های سودار تحلیل های جامع DIF / DDF مبتنی بر رویکردهای لوجیت آشیانه ای مورداستفاده قرار گیرد.

مطالعات زمینه یابی که خصیصه های مکنون و حالات افراد مانند نگرش را اندازه گیری می کنند، اغلب به منظور افزایش دقت اندازه گیری از مقیاس ها استفاده می کنند. هدف از این مطالعه بررسی کنش افتراقی (DIF) سؤالات پرسشنامه بیگانگی تحصیلی بر اساس ویژگی های جمعیت شناختی دانشجویان در چارچوب نظریه سؤال پاسخ (IRT) بود. تحلیل کنش افتراقی سؤال (DIF) در مورد کارکرد سؤالات مقیاس، بررسی می کند که آیا در زیرگروه هایی که دارای اندازه یکسانی از خصیصه مورداندازه گیری هستند، احتمال طبقات پاسخ برابر است. افراد نمونه ای که پرسشنامه بر روی آن ها اجرا شد، 1100 نفر از دانشجویان مقطع کارشناسی دانشکده های دارای رشته های روانشناسی و علوم تربیتی دانشگاه های شهر تهران بودند. داده های این پژوهش با استفاده از پرسشنامه بیگانگی تحصیلی (بورباچ، 1972) به صورت طیف لیکرت با مقیاس 4 درجه ای کاملاً مخالفم (1)، تا حدی مخالفم (2)، تا حدی موافقم (3)، کاملاً موافقم (4) به دست آمد. این پرسشنامه دارای سه زیرمقیاس انزوا، بی معنایی، ناتوانی بود. به منظور تشخیص کنش افتراقی سؤالات پرسشنامه بیگانگی تحصیلی از رویکرد نسبت درستنمایی (IRT-LR) مبتنی بر مدل پاسخ مدرج استفاده شد. تحلیل بر اساس جنسیت و مدت اشتغال به تحصیل با چهار سؤال لنگر انجام شد. تنها 3 مورد از سؤالات بر اساس متغیر جنسیت و 2 مورد از سؤالات برای متغیر مدت اشتغال به تحصیل بعد از تصحیح بونفرونی دارای DIF معنادار شناسایی شدند. وقوع DIF در برخی از گویه ها ممکن است در بافت فرهنگی دانشگاه ها ریشه داشته باشد. محتمل است در برخی موارد سوگیری های جنسیتی، نگرش اساتید، سیاست های مدیریتی دانشگاه و به طورکلی عدالت آموزشی منشأ احساس بیگانگی تحصیلی در دانشجویان باشد.

هدف: مطالعه حاضر با هدف بررسی کنش افتراقی سوالات آزمون ریاضیات مطالعه تیمز 2019پایه چهارم، برحسب جنسیت انجام شد. روش پژوهش: باتوجه به اینکه تحلیل برمبنای داده های گردآوری شده از کشور ایران در مطالعه مذکور صورت گرفت؛ این پژوهش توصیفی و از نوع تحلیل ثانویه به شمار می آید. یافته ها: برای بررسی کنش افتراقی، ابتدا از میان 14 دفترچه سوال، دو دفترچه یک و هفت به صورت تصادفی انتخاب و نمونه پژوهش، شامل 861 نفر  بودند. برای تحلیل از دو روش سنتی و نوین به ترتیب "روش رگرسیون لجستیک" و "روش خی دو لرد مبتنی بر مدل راش" استفاده شد. یافته ها نشان داد نتایج کنش افتراقی با هر دو روش یکسان بود و از 32 سوال دفترچه یک، چهار سؤال دارای کنش افتراقی بود که دو سؤال به نفع دختران و دو سؤال به نفع پسران بود. همچنین از 30 سؤال دفترچه هفت، سه سؤال کنش افتراقی داشت که دو سؤال به نفع پسران و یک سؤال به نفع دختران بود نتیجه گیری: در بررسی ساختار سوال های دارای کنش افتراقی، مشخص شد در حیطه های محتوایی، پسران احتمالا در اعداد و دختران در هندسه تمایل به عملکرد بهتری داشتند. همچنین باتوجه به سطوح شناختی، احتمالا پسران تمایل به عملکرد بالاتری در به کاربستن و استدلال داشته و در زمینه سوال های مرتبط با زندگی تمایل به پاسخگویی صحیح برای پسران نسبت به دختران احتمالا بیشتر باشد. بنابراین، پیشنهاد می شود، سوالات دارای کنش افتراقی از طریق مصاحیه مبتنی بر تکلیف بررسی عمیق تری شوند.