مطالب مرتبط با کلیدواژه

آزمون تولیمو


۱.

تأثیر حجم نمونه و طول آزمون بر نمرات همتراز شده و خطای همترازسازی: مورد مطالعه آزمون های ملی ایران(مقاله علمی وزارت علوم)

نویسنده:

کلیدواژه‌ها: همترازسازی روش کرنل (KE) آزمون تولیمو سؤالات لنگر نظریه کلاسیک آزمون (CTT) روش قوس دایره ای خطای همترازی

حوزه های تخصصی:
تعداد بازدید : ۲۰ تعداد دانلود : ۱۰
هدف از انجام پژوهش حاضر ارزیابی تأثیر حجم نمونه و طول آزمون بر نمره های همتراز شده و خطای همترازسازی روش کرنل (KE) (با شیوه های مختلف هموارسازی رشته ای و PSE[2]) و همچنین مزایا و معایب این روش در مقایسه با تکنیک های همترازسازی کلاسیک بوده است. جامعه آماری و گروه نمونه پژوهش حاضر، داده های آزمون های ملی ایران (آزمون تولیمو و آزمون های جامع کنکورهای آزمایشی شرکت تعاونی سازمان سنجش آموزش کشور در سال 92-91) بوده است. آزمون تولیمو دارای 17 سؤال لنگر در هر فرم و 123 سؤال بود. در آزمون های جامع کنکورهای آزمایشی شرکت تعاونی سازمان سنجش آموزش کشور صرفاً از سؤال های مشترک درس های عمومی رشته های ریاضی- فیزیک، علوم تجربی و علوم انسانی استفاده شد. به منظور بررسی تأثیر حجم نمونه بر دقت نتایج همترازسازی، از مجموعه داده های مورد نظر به طور کاملاً تصادفی سه نمونه 200، 500 و 1000 نفری انتخاب و تحلیل شدند. برای بررسی تأثیر طول آزمون بر دقت نتایج همترازسازی از درس های عمومی آزمون های جامع کنکورهای آزمایشی سنجش نمونه ای 40 تایی از سؤال ها (از هر درس 10 سؤال) به طور کاملاً تصادفی انتخاب شد. بدین ترتیب در آزمون های جامع دو آزمون 100 و 40 سؤالی در حجم های نمونه مختلف مورد تحلیل قرار گرفته است. طرح همترازسازی مناسب در آزمون تولیمو طرح گروه های غیر همتا با آزمون لنگر (EAT[3]) و در آزمون های جامع طرح گروه های همسان بوده است. روش همترازسازی در آزمون های مورد نظر، روش میانگین، روش خطی، روش همصدک، روش قوس دایره ای (Circle arc) و روش کرنل (KE) بوده است. به طور کلی هرچه حجم نمونه آزمون شوندگانی که نمراتشان در تحلیل همترازسازی وارد می شود بیشتر باشد، خطای استاندارد همترازسازی کوچک تر خواهد بود. نتایج تحلیل ها به طور کلی نشان داد که همچنان که حجم نمونه افزایش یافته، برازش مربوط به هموارسازی کرنل نیز بهبود یافته است و بهبود هموارسازی کرنل با افزایش طول آزمون همراه بوده است. به طور کلی زمانی که حجم نمونه کوچک باشد، روش کرنل بزرگ ترین مزیت ها را بر سایر روش های همترازسازی کلاسیک دارد.  
۲.

طراحی و کاربرد روش سنجش انطباقی کامپیوتری برای اجرای آزمون تولیمو در سازمان سنجش آموزش کشور(مقاله علمی وزارت علوم)

نویسنده:

کلیدواژه‌ها: سنجش انطباقی کامپیوتری (CAT) آزمون تولیمو برآورد پارامتر توانایی خزانه سؤال تعادل محتوایی و مواجهه سؤال

حوزه های تخصصی:
تعداد بازدید : ۲۱ تعداد دانلود : ۱۵
سنجش مهارت زبان انگلیسی در ارزیابی های خطیر به تعداد زیادی پرسش برای آزمون هایی به شیوه مداد-کاغذی (P&P) نیاز دارد؛ زیرا هر سال افراد بسیاری در این نوع آزمون های سرنوشت ساز شرکت می کنند. هدف از اجرای این پژوهش، طراحی و کاربرد سنجش انطباقی کامپیوتری (CAT) به عنوان گزینه ای برای سنجش مهارت زبان انگلیسی در سازمان سنجش آموزش کشور بود. CAT برخلاف آزمون های سنتی P&P که توالی گزینش پرسش ها در آن ثابت و یکنواخت است، از یک شیوه گزینش سؤال بهینه و انطباقی استفاده می کند. CAT، برآورد توانایی موقت را به طور بهینه مورد هدف قرار می دهد و به یک ملاک همگرایی مناسب برای برآورد توانایی می رسد و در نتیجه، به یک فرایند سنجش کوتاه تر، قابل اطمینان تر و کارآمدتر می رسد. مورد مطالعه مهارت زبان انگلیسی در مطالعه حاضر، آزمون تولیمو است. این پژوهش در دو مرحله اجرا شده است: در مرحله اول، نمونه ای از اجراهای مداد-کاغذی آزمون تولیمو (دوره 114 تا 123)، انتخاب و سپس، سؤال ها و توانایی آزمودنی ها مدرج سازی شد. در مرحله دوم، CATهای بهینه شبیه سازی شده به عنوان مبنایی برای ارزیابی صحت و کارایی CAT عملیاتی طراحی شدند. نتایج پژوهش نشان داد که برآورد پارامتر توانایی به روش بیشینه درست نمایی و ملاک توقف طول ثابت، بیشترین دقت در برآورد پارامتر توانایی آزمودنی ها را ایجاد می کنند. همچنین، آزمون CAT تولیمو که بر اساس خزانه سؤال بهینه شبیه سازی شدند، نسبت به CAT عملیاتی که بر اساس خزانه سؤال موجود طراحی شده است، به سؤال های کمتری نیاز دارد، درحالی که به نتایج دقیق تری نسبت به CAT عملیاتی در برآورد پارامتر توانایی منجر می شود. بنابراین، باوجود مناسب بودن سؤال های موجود در خزانه سؤال مدرج سازی شده آزمون تولیمو، طراحی سؤال هایی برای هدف اجرای آزمون به شیوه CAT، هم به صرفه تر است و هم دقیق تر پارامتر توانایی را برآورد می کند. همچنین، نتایج این مطالعه نشان داد که آزمون تولیمو هم به شیوه CAT شبیه سازی شده و CAT عملیاتی طراحی شده به شکلی کارآتر و دقیق تر نسبت به تولیمو مداد-کاغذی عمل می کند. یافته های این پژوهش، نشان می دهد که آزمون CAT تولیمو دارای پتانسیل بالایی در کارایی و دقت اندازه گیری توانایی زبان انگلیسی است.