سلیمان ذوالفقارنسب

هدف: بنا به مصوبه شورای عالی انقلاب فرهنگی قرار است سازمان سنجش در سال دو بار آزمون سراسری برگزار کند و نمره هر آزمون تا دو سال اعتبار خواهد داشت. هدف این پژوهش معرفی و اجرای روش های مناسب هم ترازی در چهارچوب تئوری کلاسیک آزمون سازی است تا بتوان نمرات آزمون های دوره های مختلف را مقایسه کرد و بر اساس آنها دانشجویان را به شیوه ای عادلانه انتخاب کرد.روش پژوهش: بر اساس طرح گروه های نابرابر با سوالات مشترک سه فرم آزمون X ، Y و Z حساب دیفرنسیل روی 3 گروه 600، 1111 و 2200 نفری به طور آزمایشی اجرا شده. تعداد سوال هر فرم در کل 21، 21 و 20 به ترتیب هر کدام با 6 سوال مشترک بوده است. داده ها در نرم افزار R با پکیج equate (آلبانو، 2018) تحلیل شده اند. تابع هم ترازی هم صدک برای هم ترازکردن این فرم ها به کار رفته؛ فرایند پیش هم وارسازی با تبدیلات لگاریتم خطی صورت گرفته تا پارامترها با خطای معیار کمتر و نمرات با دقت بیشری برآورد شوند.یافته ها: میانگین دشواری این سه فرم آزمون X ، Y و Z به ترتیب، 03/9، 61/7 و 79/7 است. هم چنین هر سه فرم دارای چولگی متفاوت به ترتیب 20/0، 52/0 و 39/0 می باشد.نتیجه گیری: در طرح گروه های نابرابر به دلیل دشواری متفاوت فرمهای آزمون ها نیازمند سوالات مشترک است و چولگی راست توزیع نمرات مستلزم استفاده از تابع هم ترازی هم صدک به عنوان مناسب ترین تابع برای هم ترازکردن  نمرات است؛ برای آزمون هایی که نمی توان سوالات مشترک تهیه کرد، پیشنهاد می شود به دلیل چولگی راست توزیع نمرات با همان تابع هم ترازی هم صدک آنها را پیوند داد.

فرایند سنجش و پذیرش افراد توانمند و کارآمد برای تحصیل در دوره دکترای تخصصی در ایران بسیار پر چالش بوده است. اهمیت این مسئله به حدی است که ویژگی های روان سنجی سنجه های پذیرش و ملاک های مهم آن، همچنین شیوه آزمون گیری به صورت تستی یا تشریحی برای تدوین الگوی بهینه پذیرش داوطلبان همواره در بین مجامع دانشگاهی، سیاست گذاران، و متقاضیان ورود به تحصیلات تکمیلی محل بحث و جدال است. هدف اولیه این پژوهش مشخص کردن ضرایب شبه پایایی این معیارها بوده است. روش این پژوهش از نوع توصیفی است، و در چارچوب تئوری تعمیم پذیری، پایایی سنجه ها و معیارهای-داده های ثانویه-مربوط به برنامه سنجش و پذیرش دکتری رشته مهندسی برق گرایش قدرت در 37 دانشکده پذیرنده دکتری در دانشگاه های ملی مختلف در سال 1397 را بررسی کرده است. داده ها با نرم افزار  mGENOVA بر اساس تحلیل چند متغیری با یک طرح تک رویه ای p^•×i^° تحلیل شده اند. نتایج نشان داد که چهار آزمون تخصصی، و دو آزمون عمومی به دلیل سختی سؤالات و بی پاسخ بودن، و به کارگیری نمره گذاری فرمولی، پایایی و دقت مناسبی ندارند. دو معیار ترکیبی مصاحبه که از سنجه های متفاوتی تشکیل شده اند، از ضرایب تعمیم پذیری و اعتمادپذیری بهتری برخوردار بودند. افزودن معدل کارشناسی و کارشناسی ارشد، به عنوان متغیر پیش بینی کننده جداگانه، به دلیل محدودیت دامنه در برآورد نمرات جهانی ترکیبی کارایی چندانی ندارد. در یک برنامه پذیرش دکتری که سازه زیربنایی ای بسیار گسترده ای تعریف، و سنجه های چندگانه ای استفاده می شود، مؤلفه های خطای بیشتری نیز وجود خواهد داشت. بنابراین، نمی توان تنها یک مقدار پایایی معین برای سنجه های آن مشخص کرد. امّا با تعدیل سطوح دشواری آزمون ها، استفاده از طرح های نمره گذاری سهمی سؤالات بدون جریمه حدس شانسی، نمونه گیری کاملتر از سازه زیربنایی و افزایش لایه های سطوح می توان تصمیم گیری های آموزشی با ریسک بالا را برای طبقه بندی افراد، با پیش بینی های نادرست کمتری انجام داد.

عملکرد موفقیت آمیز داوطلب دوره دکتری مهم ترین عامل در تصمیم گیری اعضای کمیته پذیرش است که کمک می کند کدام داوطلب را بپذیرند. یکی از مباحثی که همیشه همراه با نمره های آزمون های پذیرش وجود داشته، مسئله روایی نمره های  در پیش بینی عملکرد موفقیت آمیز  داوطلبان بوده است. هدف از اجرای این پژوهش، بررسی روایی ملاکی-پیش بین نمره های آزمون های تخصصی  در چهار رشته دکتری مهندسی روی سنجه های مصاحبه  به عنوان ملاک عملکرد موفقیت آمیز  بوده است. در این پژوهش که توصیفی از نوع همبستگی است، رتبه های داوطلبان در آزمون های اختصاصی  و مصاحبه  در چهار رشته دکتری مهندسی در سال 1397 بر اساس تئوری تعمیم پذیری تحلیل شدند. بسته به رشته دانشگاهی داده های آزمون شوندگان دربرگیرنده نمره آنها روی 3 تا 8 خرده آزمون اختصاصی  و 2 نمره ترکیبی ملاک مصاحبه  بود. داده ها با نرم افزار mGENOVA بر اساس یک طرح تک رویه ای  تحلیل شدند. سپس همبستگی بین دو نمره جهانی ترکیبی با توزیع نرمال دومتغیری در نمودار پراکندگی نشان داده شده است. نتایج نشان می دهد نمره های آزمون های تخصصی  به خوبی می توانند نمره های افراد را در ملاک مصاحبه  به عنوان شاخص عملکرد موفقیت آمیز  یا کیفیت داوطلب پیش بینی کنند (به جز در رشته فناوری اطلاعات)؛ تعداد زیاد خرده آزمون های تخصصی، ناپایایی آنها و واریانس نابسته به سازه از عواملی هستند که می توانند پیش بینی های درست برای پذیرش یا رد داوطلبان را –به ویژه روی نمره برش- تحت تأثیر قرار دهند. اگرچه پیش بینی دقیق عملکرد موفقیت آمیز  داوطلبان دوره دکتری به وسیله نمره های آزمون ها  هدف دست نیافتنی است، اما تعریف بهتر آنچه ملاک موفقیت  در دوره دکتری است و بااهمیت تر شدن آزمون های عمومی زبان و استعداد  و هم زمان تعدیل سطوح دشواری این آزمون ها و کاهش خطای اندازه گیری سنجه های پیش بینی کننده  در یک برنامه سنجش دومرحله ای که در آن آزمون های عمومی زبان و استعداد به عنوان غربال اولیه توسط سازمان سنجش برگزار شود و آزمون های اختصاصی و مصاحبه توسط دانشگاه ها، می تواند راه بهینه ای باشد برای افزایش روایی نمره های آزمون ها  در پیش بینی عملکرد موفقیت آمیز  داوطلبان و پذیرش دانشجویان باکیفیت تر.

ساختن سوالات دشوار و بدون هیچ حد و مرز مشخص در ترکیب الگوریتم های محاسباتی، منجر به روندهای نابجا مثل راهبردهای آموزش تست زنی و آمادگی برای آزمون در بین آزمون شوندگان شده است. همچنین ناکارآمدی آموزش های دوران تحصیلی در پی گیری نیازهای جامعه در نهایت مانعی برای رسیدن به اهداف آموزشی بادوام در توسعه ملی شده است. داشتن استانداردهای آموزشی دقیق و کاربرد الگوهای رده بندی کمک می کند تا ارزشیابی بهتری از برنامه های آموزشی، محتوای درسی و همین طور پیشرفت تحصیلی دانش آموزان بدست آید. در این نوشته به بررسی نمونه ای کوچک از مجموعه سوالات چهارگزینه ای حساب دیفرانسیل در چهارچوب هدف های رفتاری پرداخته شده است. 12 سوال از یک آزمون 30 سوالی که روی یک نمونه 3409 نفری از دانش آموزان اجرا شده بر اساس الگوی توان-پیچیدگی رده بندی گردید. نتیجه مربوط به 3 سوال آن در این مقاله آمده است. نتایج نشان داد که سوالات این آزمون همگی دانش روندی را اندازه می گیرند و عمدتا در سطح 3 پیچیدگی قرار داشته اند. همچنین 92% سوالات انتزاعی بوده و برای پاسخ گویی صحیح به هر سوال همزمان باید چندین الگوریتم محاسباتی مختلف فراخوانی شوند. سوالاتی که تنها از یک الگوریتم برای حل آنها استفاده شده و سطوح پیچیدگی کمتری داشته اند از پارامترهای آماری بهتری مثل مقیاس پذیری برخوردار بوده اند و تابع آگاهی آنها اطلاعات بیشتری از توانایی آزمون شوندگان فراهم می کردند.

بنا بر تصویب قانون پذیرش دانشجویان در سال های آینده بر اساس افزایش تدریجی سهم سوابق تحصیلی آن ها در ترکیب با نمره ی آزمون سراسری، مشخص کردن کم و کیف ترکیب این دو نوع نمره برای انتخاب شایسته ی متقاضیان ورود به دانشگاه ها، یکی از مهم ترین چالش های تصمیم گیرندگان در سازمان سنجش آموزش کشور بوده است. این پژوهش به منظور بررسی اعتبار نمرات حاصل از سوابق تحصیلی، آزمون سراسری و ترکیب آن ها بر اساس تئوری تعمیم پذیری صورت گرفته است. روش تحقیق به صورت توصیفی بوده و در آن نمرات سوابق تحصیلی یک سال آخر 5608 دانش آموزان گروه ریاضی و فنی به همراه رتبه ی دروس مشابه در آزمون سراسری آن ها مورد تجزیه وتحلیل قرار گرفته است. نتایج نشان داد که هم نمرات سوابق تحصیلی و هم نمرات آزمون سراسری برای رتبه بندی و ارتقای افراد به مراحل بعدی آموزش به تنهایی دارای ضرایب تعمیم پذیری بهینه ای هستند؛ واریانس واقعی هر سری از این نمرات جداگانه می توانند افراد را برای ادامه تحصیل رتبه بندی کنند. اما ترکیب این دو نوع نمره اثربخش نیست. آزمون کنکور هنجار مرجع و با چولگی مثبت است و سوابق تحصیلی از آزمون های مختلف به دست می آید که ملاک مرجع و با چولگی منفی هستند. ترکیب آن ها ایجاد یک توزیع دو نمایی می کند که در برآورد نمره ی واقعی واریانس صفر یا منفی تولید می کند و ضرایب تعمیم پذیری به دست آمده را بی اعتبار می سازد. درنهایت تبدیل نمرات به رتبه های صدکی برای حذف چولگی و سپس تبدیل رتبه ها به توزیع نمرات استاندارد z برای ترکیب کردن توزیع دو نوع نمره، باعث افزایش واریانس واقعی و بهبود ضرایب تعمیم پذیری و اعتمادپذیری می شود. همچنین در تهیه ی نمره ی کل ترکیبی برای این گروه آزمایشی باید تعداد دروس عمومی آن ها را کاهش داد و هم زمان تک نمره ی ریاضی در خرده آزمون های اختصاصی آن ها را به 4 لایه نمره تفکیک کرد.

کارکرد هدفمند نظام آموزشی تضمین کننده توسعه ملی هر کشوری است. آن چه دانشمندان، مهندسان و نیروی کار تریبت یافته از چنین نظامی در فرایند آموزش یاد می گیرند اهرمی است برای گردش چرخه اقتصادی کشور، افزایش تولید ناخالص ملی و هم زمان کسب درآمد فردی. به شرط ثابت بودن عوامل اثرگذار دیگر. انتظار آن است که در یک نظام آموزشی خوب ساختار یافته در جهت اهداف ملی، همه افراد به یک اندازه از مزایای این نظام آموزشی بهره ببرند. یکی از مهم ترین معیارهای ارزیابی عملکرد سیستم آموزشی، برنامه های اجرای آزمون های ملی و بین المللی استاندارد است. این برنامه های آزمون گیری که به منظور اندازه گیری رشد شناختی دانش آموزان اجرا می شوند، نشان می دهند که دانش آموزان هر کشوری به چه خوبی از مزایای یک سیستم آموزشی بهره مند شده اند. این تحقیق به بررسی عملکرد استانی گروه ریاضی و فنی در دو خرده آزمون سراسری ریاضی و فیزیک و مقایسه نتایج دو آزمون به تفکیک استان و جنسیت طی سال های 1387 تا 1391 می پردازد. همچنین برای شناخت جایگاه استان ها در پیوستار جهانی مبتنی بر آزمون های بین المللی TIMSS اعداد و ارقامی ارایه شده است. این پژوهش با طرح تحقیق پس رویدادی اجرا و برای تحلیل داده های استانی از روش اندازه گیری های مکرر استفاده شده است. داده های این تحقیق از بانک داده های سازمان سنجش آموزش کشور و جداول مرکز مطالعات ملی تیمز و پرلز جمع آوری شده است. نتایج نشان داد که در این دوره 5 ساله استان هایی با عملکرد بالا در مقایسه با استان های محروم بین 4 تا 5 واحد انحراف معیار در مقیاس استاندارد z فاصله ای ثابت دارند. میانگین عملکرد دختر ها پایین تر از پسرها است و دانش آموزان استان هایی که در آزمون های بین المللی عملکرد ضعیفی دارند به همان ترتیب در آزمون سراسری نیز ضعیف هستند.

این تحقیق به منظور وزن دهی بهینه به خرده آزمون ها و سؤال های آزمون سراسری برای ساخت نمره کل ترکیبی انجام شده است. هدف نهایی این تحقیق پایین آوردن خطای اندازه گیری نمره کل ترکیبی بر اساس نظریه کلاسیک آزمون سازی بود. وزن دهی در سه سطح صورت گرفته است نخست آزمون سی سؤالی چهارگزینه ای حساب دیفرانسیل که نمونه آن 3409 نفر بود بر اساس وزن دهی در سطح گزینه های سؤال (درصد محبوبیت گزینه ها، نمره فرمولی) و در سطح سؤال (سرجمع ساده بدون وزن یا وزن مؤثر سؤال، وزن عاملی سؤال و وزن دشواری سؤال) وزن دهی شده اند. همچنین در سطح خرده آزمون یک مجموعه آزمون سراسری دستیاری پزشکی با پنج خرده آزمون با طول برابر شش سؤال که نمونه آن 3572 نفر بود نیز به روش های مختلف (متوسط ضریب همبستگی پیرسون، وزن عاملی و ضرایب رگرسیون) وزن دهی شده اند. به علاوه یک مجموعه آزمون دستیاری پزشکی دیگر با طول خرده آزمون های نابرابر به ترتیب 45، 26، 24، 6 و 6 سؤال که در بین گروه 3638 نفری اجرا شده بر اساس وزن مؤثر خود خرده آزمون ها (بدون وزن) مورد بررسی قرار گرفته است. این تحقیق نشان داد که روش نمره فرمولی بیشترین واریانس خطا را نسبت به دیگر روش ها تولید می کند. تنها وزن دهی بر اساس دشواری سؤال می تواند رتبه بندی افراد را به نفع افراد شایسته تر تغییر دهد و دیگر روش های وزن دهی برای افزایش پایایی رضایت بخش نیستند و ضریب پایایی آزمون در همان ابتدا تحت تأثیر سؤال های خوب و خرده آزمون های خوش ساخت با طول بهینه است. 

نوشته حاضر فرایند ایجاد یا توسعه یک بانک سؤال مدرج شده بر اساس تئوری سؤال پاسخ با استفاده از داده های 30 سؤال کنکور آزمایشی حساب دیفرانسیل است که روی یک نمونه 3409 نفری اجرا شده است. تابع آگاهی کل سؤالات برابر با 21/43 است که در فاصله 3 پیوستار توانایی نقطه بیشینه آن روی 95/0 است و در این نقطه، توانایی افراد با حداقل خطا برآورد شده است. یکی از نکات برجسته در راه اندازی چنین بانکی برآورد توانایی افراد بر اساس آزمون های مداد-کاغذی استاندارد و کم خطا با اهداف ویژه است تا بتوان در هزینه، تلاش و زمان صرفه جویی کرد و امنیت آزمون ها را بالا برد. بعلاوه فرایند آزمون گیری را که به صورت سنتی و مداد کاغذی اجرا می شود با طی مراحل بعدی به صورت سنجش انطباقی کامپیوتری ارتقاء داد. برای ارائه مثال از بین سؤالات این بانک یک خرده آزمون کوتاه مدادکاغذی با سؤالاتی که قدرت تمیز بالا و ضریب دشواری بیشتری دارند، انتخاب شده است. دامنه دشواری این خرده آزمون کوتاه بین و ضریب تمیز قرار داده شد و در نهایت 5 سؤال برگزیده شده است که تابع آگاهی این خرده آزمون برابر با 48/12 و نقطه بیشینه آن روی پیوستار توانایی برابر با 35/1 است. بعلاوه سطح دشواری آزمون4/0 واحد انحراف معیار افزایش یافته و به علت کوتاه شدن دامنه آزمون از 30 سؤال به 5 سؤال میزان آگاهی دهی از توانایی آزمون دهندگان نیز 46/3 برابر کاهش پیدا کرده است. بعلاوه برای اجرای سنجش انطباقی یک شبیه سازی انجام شده است که تنها 8 تا 10سؤال نیاز بوده تا با 01/0 احتمال خطا به همان دقت آزمون30 سؤالی توانایی افراد را اندازه گیری کرد.

این مقاله، بخشی از پژوهشی است که به منظور ارزیابی تلاش های علمی 17 کشور در حال توسعه در راستای تولید علم در پنج سال اول قرن 21 صورت گرفته است. نتایج نشان دادند که سرانه درآمد با 70%، توسعه زیرساخت های فنّاوری مثل ضریب نفوذ اینترنت 72% بیشترین سهم در تولید علم دارند و از طرف دیگر نرخ خالص ثبت نام در سطح آموزش عالی که مهم ترین مؤلفه مورد نیاز است با 25% کمترین تأثیر در تولید علم داشته است. بر اساس داده ها ایران در بین این 17 کشور تقریباً دارای رتبه دهم در تولید علم است. اگر چه رشد تولیدات علمی این کشورها افزایش زیادی داشته است اما پیشرفت آنها هنوز قابل مقایسه با کشورهای توسعه یافته نیست چون تولید علم اولیه آنها در سطح پایینی قرار داشته است (بنیاد ملی علوم، 2002). به هر حال در صورت عدم تغییر در سیاست گذاری های کلان علمی مانند عدم خصوصی سازی دانشگاه ها و ارتباط با بازار تجاری و اصرار بر برنامه ریزی های غیر واقع بینانه و بدون انعطاف، جایگاه ایران روی یک پیوستار رقابتی در درازمدت ثابت خواهد ماند.