برآورد پارامتر توانایی

سنجش مهارت زبان انگلیسی در ارزیابی های خطیر به تعداد زیادی پرسش برای آزمون هایی به شیوه مداد-کاغذی (P&P) نیاز دارد؛ زیرا هر سال افراد بسیاری در این نوع آزمون های سرنوشت ساز شرکت می کنند. هدف از اجرای این پژوهش، طراحی و کاربرد سنجش انطباقی کامپیوتری (CAT) به عنوان گزینه ای برای سنجش مهارت زبان انگلیسی در سازمان سنجش آموزش کشور بود. CAT برخلاف آزمون های سنتی P&P که توالی گزینش پرسش ها در آن ثابت و یکنواخت است، از یک شیوه گزینش سؤال بهینه و انطباقی استفاده می کند. CAT، برآورد توانایی موقت را به طور بهینه مورد هدف قرار می دهد و به یک ملاک همگرایی مناسب برای برآورد توانایی می رسد و در نتیجه، به یک فرایند سنجش کوتاه تر، قابل اطمینان تر و کارآمدتر می رسد. مورد مطالعه مهارت زبان انگلیسی در مطالعه حاضر، آزمون تولیمو است. این پژوهش در دو مرحله اجرا شده است: در مرحله اول، نمونه ای از اجراهای مداد-کاغذی آزمون تولیمو (دوره 114 تا 123)، انتخاب و سپس، سؤال ها و توانایی آزمودنی ها مدرج سازی شد. در مرحله دوم، CATهای بهینه شبیه سازی شده به عنوان مبنایی برای ارزیابی صحت و کارایی CAT عملیاتی طراحی شدند. نتایج پژوهش نشان داد که برآورد پارامتر توانایی به روش بیشینه درست نمایی و ملاک توقف طول ثابت، بیشترین دقت در برآورد پارامتر توانایی آزمودنی ها را ایجاد می کنند. همچنین، آزمون CAT تولیمو که بر اساس خزانه سؤال بهینه شبیه سازی شدند، نسبت به CAT عملیاتی که بر اساس خزانه سؤال موجود طراحی شده است، به سؤال های کمتری نیاز دارد، درحالی که به نتایج دقیق تری نسبت به CAT عملیاتی در برآورد پارامتر توانایی منجر می شود. بنابراین، باوجود مناسب بودن سؤال های موجود در خزانه سؤال مدرج سازی شده آزمون تولیمو، طراحی سؤال هایی برای هدف اجرای آزمون به شیوه CAT، هم به صرفه تر است و هم دقیق تر پارامتر توانایی را برآورد می کند. همچنین، نتایج این مطالعه نشان داد که آزمون تولیمو هم به شیوه CAT شبیه سازی شده و CAT عملیاتی طراحی شده به شکلی کارآتر و دقیق تر نسبت به تولیمو مداد-کاغذی عمل می کند. یافته های این پژوهش، نشان می دهد که آزمون CAT تولیمو دارای پتانسیل بالایی در کارایی و دقت اندازه گیری توانایی زبان انگلیسی است.