تعیین مقایسه پذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد-کاغذی (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
هدف مطالعه حاضر تعیین مقایسه پذیری برآورد پارامتر توانایی در سنجش انطباقی کامپیوتری و مداد – کاغذی و تعیین الگوریتم بهینه آزمون انطباقی کامپیوتری بر اساس روش های مختلف برآورد توانایی (بیشینه درست نمایی و پسین مورد انتظار) و ملاک خاتمه آزمون (خطای استاندارد ثابت و طول ثابت آزمون) در آزمون های خطیر بود. جامعه پژوهش شامل تمامی شرکت کنندگان آزمون سراسری گروه آزمایشی علوم ریاضی و فنی سال 1392 بود که از میان آنها تعداد 1000 آزمودنی با روش نمونه گیری تصادفی انتخاب شدند. تحلیل سؤال های آزمون ریاضی با استفاده از مدل لجستیک سه پارامتری صورت گرفت. 40 مجموعه داده با حجمی برابر با داده های واقعی شبیه سازی شد و شبیه سازی پس تجربی آزمون انطباقی کامپیوتری انجام شد. یافته های تحلیل بیانگر همبستگی بالای برآورد توانایی اجرای انطباقی کامپیوتری و مداد-کاغذی خرده آزمون ریاضی بود. همچنین مقادیر سوگیری، میانگین قدر مطلق تفاوت برآوردهای توانایی آزمون انطباقی کامپیوتری و مداد- کاغذی و ریشه میانگین مجذور تفاوت بیانگر آن بود که برآوردهای توانایی آزمون انطباقی کامپیوتری در روش برآورد پسین مورد انتظار در راستای برآورد توانایی آزمون کامل است. نتایج نشان داد که آزمون انطباقی کامپیوتری قادر به بازیابی توانایی در خرده آزمون ریاضی است. به علاوه روش برآورد پسین مورد انتظار و ملاک خاتمه خطای استاندارد ثابت 3/0 الگوریتم بهینه دستیابی به اهداف پایایی مناسب، طول منطقی آزمون و بازیابی برآورد توانایی در اجرای انطباقی کامپیوتری خرده آزمون ریاضی است.Investigating comparability of Ability Parameter Estimation in Computerized Adaptive and Paper-Pencil Tests
This study aimed to investigate the comparability of ability parameter estimation in computerized adaptive with paper-pencil testing and finding the algorithm for optimal computerized adaptive testing based on different kinds of ability estimation (maximum likelihood and expected a posteriori) and test termination criterion (fixed standard error and fixed length of test) in high stakes tests. The target population consisted of mathematics and engineering subgroup examinees of the Iranian university entrance exam in 2013. One thousand examinees were selected using random sampling method and mathematics questions were analyzed using 3-parameter logistic model. Equal to real numbers, 40 data sets were simulated and post hoc simulation of computerized adaptive testing was applied. The results indicated a strong correlation between ability estimation using computerized adaptive and paper-pencil testing of mathematics subscale. Furthermore, bias values, average absolute difference between ability estimation in computerized adaptive and paper-pencil testing and the mean squared root of the difference showed that the ability estimation in computerized adaptive testing using expected a posteriori is consistent with the ability estimation using the whole exam. The results suggested that computerized adaptive testing is capable of recovering the ability in mathematics subscale. It was concluded that expected a posteriori and test stopping rule of fixed 0.3 standard error was the optimal algorithm for suitable reliability, appropriate test length and the recovery of the ability estimation in computerized adaptive testing of mathematics subscale.
تبلیغات
