طراحی خزانه های سؤال بهینه برای سنجش انطباقی کامپیوتری با در نظر گرفتن امنیت آزمون (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
سنجش انطباقی کامپیوتری به خزانه سؤالی نیاز دارد که به خوبی طراحی شده و برای ساخت آزمون های مجزا، تعداد مناسبی سؤال داشته باشد. همچنین شامل سؤال هایی باشد که از لحاظ محتوایی متعادل باشد و هزینه ساخت آزمون را کاهش دهد. یکی از روش های طراحی خزانه سؤال، روش رِکیس است، که در آن از روش مونت کارلو برای تعیین ویژگی های یک خزانه سؤال بهینه استفاده می شود. در این پژوهش، از این روش برای طراحی خزانه هایی که با مدل سه پارامتری لُجستیک مدرج شده اند، استفاده شده است. برای کنترل نرخ مواجهه سؤال از روش سیمپسون-هتر و برای شبیه سازی سؤال های آزمون از سه روش تصادفی (R)، تصادفی آمیخته و پیش بینی (MRP) و حداقل آگاهی آزمون (MTI) استفاده شده است. عملکرد خزانه های سؤال شبیه سازی شده و عملیاتی با در نظر گرفتن مجموعه ای از ملاک های ارزیابی، با یکدیگر مقایسه شده اند. نتایج نشان می دهد که خزانه MRP نسبت به سایر خزانه های بهینه از امنیت و دقت اندازه گیری بالاتری برخوردار است و شامل سؤال های زیادی با ضریب تشخیص بالا است. نرخ همپوشی آزمون در آن کمتر و درصد کوچکی از سؤال های بیش مواجهه و کم مواجهه دارد. در مقابل اندازه خزانه MTI نسبت به سایر خزانه های بهینه کوچک تر و سؤال هایی با ضریب تشخیص پایین تر دارد. به طور کلی با در نظر گرفتن عامل کنترل مواجهه، خزانه های بهینه، بهتر از خزانه عملیاتی عمل می کند.Designing Optimal Item Pools for Computerized Adaptive Testing by Considering the Test Security
Computerized adaptive testing requires a well-designed item pool containing an appropriate number of items to build individualized tests. An optimal item pool should also contain well-balanced items that will achieve optimal item usage and low cost of item creation. One of the methods for designing the blueprint for an item pool is Reckase’s method, which is a Monte Carlo method to determine the properties of an optimal item pool. This study has been presented by the Reckase’s method for designing item pools calibrated with the three-parameter logistic model. Also, in the present simulation, the Sympson-Hetter procedure has been used to control the item exposure rate. To design simulation test items, three approaches including R, MRT, and MTI have been applied. The performance of the simulated item pools has been compared with the operational item pool by considering some evaluation criteria. The results suggest that the optimal pool designed with MRP performs the best, based on test security and measurement accuracy. It does require more items and some highly discriminating items. Tests assembled from MRP pools have smaller test-retest overlap rates and significantly lower percentages of over- and under-exposed items. The results show that the MTI design generally leads to smaller pools and contain items with lower a-parameters. Overall, Considering the Sympson-Hetter procedure, the optimally designed item pools perform better than the operational pool obtained from operational CAT
تبلیغات
