نظریه کلاسیک آزمون (CTT)

هدف: هدف این پژوهش ساخت و رواسازی آزمون تشخیصی حساب نارسایی پایه سوم دبستان شهر اصفهان بود. روش: در این پژوهش پیمایشی، کتاب ریاضی پایه سوم دبستان تحلیل محتوا شد. ضریب کریپندورف مبنی بر توافق تحلیل محتوا 91/0 به دست آمد. پس از آن بر اساس مقوله های استخراج شده و اهداف رفتاری هر مقوله و با توجه به نظریه شناختی بلوم و حجم هر مقوله در کتاب ریاضی پایه سوم تعداد زیادی سؤال طرح و به طور مقدماتی اجرا گردید. سپس فرم نهایی روی یک نمونه 300 نفری از دانش آموزان پایه سوم دبستان (155 پسر و 145 دختر) که در سال تحصیلی 86-1385 به روش نمونه برداری خوشه ای چندمرحله ای از نواحی پنج گانه آموزشی شهر اصفهان انتخاب شده بودند، اجرا و پارامترهای سؤال آزمون بر اساس نظریه کلاسیک آزمون (CTT) و نظریه سؤال – پاسخ (IRT) محاسبه گردید. یافته ها: نتایج نشان داد که این آزمون دارای روایی مطلوب و نیز پایایی مناسب (93/0=، ضریب بازآزمایی = 87/0) است و حساسیت و ویژگی (دقت) آن به ترتیب 98/0 و 96/0 به دست آمد. پارامتر تشخیصی a(g) و دشواری b(g) بر اساس نظریه سؤال – پاسخ نیز نشان داد که همه سؤال ها دارای توان تشخیص مناسب (بالای 5/0) و دشواری مطلوب اند و با مدل دو پارامتری برازش کامل دارند (05/0p>). منحنی تابع آگاهی آزمون نیز نشان داد که مناسب ترین کاربرد آن در سطوح توانایی ریاضی 6/0-=R تا 6/0+=R است. نتیجه گیری: این آزمون دارای ویژگی های روان سنجی مناسب برای تشخیص کودکان حساب نارسای پایه سوم می باشد.

زمینه: اعتبار تحلیل های چندسطحی با تأکید بر تفاوت های نظریه های اندازه گیری (رویکرد کلاسیک اندازه گیری و رویکرد نظریه جدید اندازه گیری (IRT)) به کمک داده های مختلف مورد پژوهشهای اخیر بوده است. هدف: هدف از انجام پژوهش حاضر بدست آوردن میزان تأثیر مدارس بر نمرات کسب شده دانش آموزان شرکت کننده در آزمون تیمز پیشرفته 2008 بود. روش: برای دستیابی به هدف اصلی پژوهش از داده های مربوط به اجرای آزمون فیزیک تیمز پیشرفته 2008 که روند آموزش فیزیک پیشرفته دانش آموزان سال آخر متوسطه (پیش دانشگاهی) را مورد ارزیابی قرار می دهد، استفاده شد. جامعه آماری و گروه نمونه پژوهش حاضر، جامعه آماری و گروه نمونه پایه پیش دانشگاهی رشته ریاضی- فیزیک در آزمون فیزیک تیمز پیشرفته است که در سال تحصیلی 1387-1386 به اجرا در آمده است. حجم نمونه دانش آموزان ایرانی در این سنجش برابر 2556 نفر بوده است. یافته ها: نتایج تحلیل ها به طور کلی نشان داد که نخست تحلیل های چندسطحی نظریه سؤال- پاسخ (MLIRT) نسبت به تحلیل های چندسطحی نمره واقعی (MLTS) از قدرت بیشتری در آشکارسازی تفاوت بین مدارس برخوردار است. دوم آنکه، میزان تفاوت بین مدارس شرکت کننده در آزمون ریاضیات تیمز پیشرفته که در شاخص ICC (همبستگی درون رده ای) منعکس شده است در تحلیل های MLIRT بسیار زیاد است. بحث و نتیجه گیری: نخست آنکه، در نظر گرفتن خطای اندازه گیری تک تک سؤالات در تحلیل ها در چارچوب بیزی و با استفاده از نمونه گیری گیبس به طور چشمگیری توانمندی تحلیل های چندسطحی را بهبود می بخشد و افزایش معنادار نسبت واریانس تبیین شده را در پی خواهد داشت. دوم آنکه، تفاوت و تبعیض آموزشی بین مدارس زیاد است که این امر عمدتاً ناشی از متغیرهای در سطح مدرسه (نظیر متغیرهای مرتبط به معلم یا متغیرهای مرتبط به مدرسه) می باشد.

هدف از انجام پژوهش حاضر ارزیابی تأثیر حجم نمونه و طول آزمون بر نمره های همتراز شده و خطای همترازسازی روش کرنل (KE) (با شیوه های مختلف هموارسازی رشته ای و PSE[2]) و همچنین مزایا و معایب این روش در مقایسه با تکنیک های همترازسازی کلاسیک بوده است. جامعه آماری و گروه نمونه پژوهش حاضر، داده های آزمون های ملی ایران (آزمون تولیمو و آزمون های جامع کنکورهای آزمایشی شرکت تعاونی سازمان سنجش آموزش کشور در سال 92-91) بوده است. آزمون تولیمو دارای 17 سؤال لنگر در هر فرم و 123 سؤال بود. در آزمون های جامع کنکورهای آزمایشی شرکت تعاونی سازمان سنجش آموزش کشور صرفاً از سؤال های مشترک درس های عمومی رشته های ریاضی- فیزیک، علوم تجربی و علوم انسانی استفاده شد. به منظور بررسی تأثیر حجم نمونه بر دقت نتایج همترازسازی، از مجموعه داده های مورد نظر به طور کاملاً تصادفی سه نمونه 200، 500 و 1000 نفری انتخاب و تحلیل شدند. برای بررسی تأثیر طول آزمون بر دقت نتایج همترازسازی از درس های عمومی آزمون های جامع کنکورهای آزمایشی سنجش نمونه ای 40 تایی از سؤال ها (از هر درس 10 سؤال) به طور کاملاً تصادفی انتخاب شد. بدین ترتیب در آزمون های جامع دو آزمون 100 و 40 سؤالی در حجم های نمونه مختلف مورد تحلیل قرار گرفته است. طرح همترازسازی مناسب در آزمون تولیمو طرح گروه های غیر همتا با آزمون لنگر (EAT[3]) و در آزمون های جامع طرح گروه های همسان بوده است. روش همترازسازی در آزمون های مورد نظر، روش میانگین، روش خطی، روش همصدک، روش قوس دایره ای (Circle arc) و روش کرنل (KE) بوده است. به طور کلی هرچه حجم نمونه آزمون شوندگانی که نمراتشان در تحلیل همترازسازی وارد می شود بیشتر باشد، خطای استاندارد همترازسازی کوچک تر خواهد بود. نتایج تحلیل ها به طور کلی نشان داد که همچنان که حجم نمونه افزایش یافته، برازش مربوط به هموارسازی کرنل نیز بهبود یافته است و بهبود هموارسازی کرنل با افزایش طول آزمون همراه بوده است. به طور کلی زمانی که حجم نمونه کوچک باشد، روش کرنل بزرگ ترین مزیت ها را بر سایر روش های همترازسازی کلاسیک دارد.