طراحی و کاربرد روش سنجش انطباقی کامپیوتری برای اجرای آزمون تولیمو در سازمان سنجش آموزش کشور (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
سنجش مهارت زبان انگلیسی در ارزیابی های خطیر به تعداد زیادی پرسش برای آزمون هایی به شیوه مداد-کاغذی (P&P) نیاز دارد؛ زیرا هر سال افراد بسیاری در این نوع آزمون های سرنوشت ساز شرکت می کنند. هدف از اجرای این پژوهش، طراحی و کاربرد سنجش انطباقی کامپیوتری (CAT) به عنوان گزینه ای برای سنجش مهارت زبان انگلیسی در سازمان سنجش آموزش کشور بود. CAT برخلاف آزمون های سنتی P&P که توالی گزینش پرسش ها در آن ثابت و یکنواخت است، از یک شیوه گزینش سؤال بهینه و انطباقی استفاده می کند. CAT، برآورد توانایی موقت را به طور بهینه مورد هدف قرار می دهد و به یک ملاک همگرایی مناسب برای برآورد توانایی می رسد و در نتیجه، به یک فرایند سنجش کوتاه تر، قابل اطمینان تر و کارآمدتر می رسد. مورد مطالعه مهارت زبان انگلیسی در مطالعه حاضر، آزمون تولیمو است. این پژوهش در دو مرحله اجرا شده است: در مرحله اول، نمونه ای از اجراهای مداد-کاغذی آزمون تولیمو (دوره 114 تا 123)، انتخاب و سپس، سؤال ها و توانایی آزمودنی ها مدرج سازی شد. در مرحله دوم، CATهای بهینه شبیه سازی شده به عنوان مبنایی برای ارزیابی صحت و کارایی CAT عملیاتی طراحی شدند. نتایج پژوهش نشان داد که برآورد پارامتر توانایی به روش بیشینه درست نمایی و ملاک توقف طول ثابت، بیشترین دقت در برآورد پارامتر توانایی آزمودنی ها را ایجاد می کنند. همچنین، آزمون CAT تولیمو که بر اساس خزانه سؤال بهینه شبیه سازی شدند، نسبت به CAT عملیاتی که بر اساس خزانه سؤال موجود طراحی شده است، به سؤال های کمتری نیاز دارد، درحالی که به نتایج دقیق تری نسبت به CAT عملیاتی در برآورد پارامتر توانایی منجر می شود. بنابراین، باوجود مناسب بودن سؤال های موجود در خزانه سؤال مدرج سازی شده آزمون تولیمو، طراحی سؤال هایی برای هدف اجرای آزمون به شیوه CAT، هم به صرفه تر است و هم دقیق تر پارامتر توانایی را برآورد می کند. همچنین، نتایج این مطالعه نشان داد که آزمون تولیمو هم به شیوه CAT شبیه سازی شده و CAT عملیاتی طراحی شده به شکلی کارآتر و دقیق تر نسبت به تولیمو مداد-کاغذی عمل می کند. یافته های این پژوهش، نشان می دهد که آزمون CAT تولیمو دارای پتانسیل بالایی در کارایی و دقت اندازه گیری توانایی زبان انگلیسی است.Designing and Application of a Method Computerized Adaptive Testing for Implementation TOLIMO Test in the National Organization of Educational Testing
Measuring of English Language proficiency in large-scale assessments normally requires a large number of test items and relies on paper-and-pencil (P&P) formats; because many people participate annually in this high stake type of tests. The purpose of this research is to design and apply a Computerized Adaptive Testing (CAT) as an alternative to assessing the English language proficiency in the National Organization of Educational Testing. Unlike the traditional P & P tests in which the sequence of selection of items in it is constant and uniform, CAT uses an optimal and adaptive item selection method. CAT caters to optimally estimating temporary ability parameter and achieves a suitable convergence criterion for estimating ability, which results in a shorter, more reliable, and more efficient measurement process. In current study, the case study for examination of English language skill was the TOLIMO test. This research has been carried out in two phases. In the first stage, a sample of pencil-paper TOLIMO (period 114 to 123) was selected and then the items and subjects' ability were calibrated. In the second phase, simulated optimal CATs were designed as a basis for evaluating the efficiency of operational CAT. The results show that the ability parameter estimation method, the maximum likelihood and the fixed length of test as test termination criterion, give the most accuracy in the ability parameter estimation. Also, the simulated CAT TOLIMO test based on the optimum item pool needs less items than the designed CAT based on the available item pool, while it leads to obtain more accurate results in comparison to the operational CAT for ability parameter estimation. Therefore, despite the suitability of the items in the graded item pool of TOLIMO, the design of items to implement the examination with CAT method is so much better and more accurately, the ability parameter is estimated. The study also demonstrates that TOLIMO test in the form of simulated CAT and operational CAT can be more efficient and precise in the evaluation criteria than TOLIMO test in the form of P&P. The findings suggest that CAT has a great potential in efficiently and precisely measuring TOLIMO ability of English language.
تبلیغات
