تئوری تعمیم پذیری

بنا بر تصویب قانون پذیرش دانشجویان در سال های آینده بر اساس افزایش تدریجی سهم سوابق تحصیلی آن ها در ترکیب با نمره ی آزمون سراسری، مشخص کردن کم و کیف ترکیب این دو نوع نمره برای انتخاب شایسته ی متقاضیان ورود به دانشگاه ها، یکی از مهم ترین چالش های تصمیم گیرندگان در سازمان سنجش آموزش کشور بوده است. این پژوهش به منظور بررسی اعتبار نمرات حاصل از سوابق تحصیلی، آزمون سراسری و ترکیب آن ها بر اساس تئوری تعمیم پذیری صورت گرفته است. روش تحقیق به صورت توصیفی بوده و در آن نمرات سوابق تحصیلی یک سال آخر 5608 دانش آموزان گروه ریاضی و فنی به همراه رتبه ی دروس مشابه در آزمون سراسری آن ها مورد تجزیه وتحلیل قرار گرفته است. نتایج نشان داد که هم نمرات سوابق تحصیلی و هم نمرات آزمون سراسری برای رتبه بندی و ارتقای افراد به مراحل بعدی آموزش به تنهایی دارای ضرایب تعمیم پذیری بهینه ای هستند؛ واریانس واقعی هر سری از این نمرات جداگانه می توانند افراد را برای ادامه تحصیل رتبه بندی کنند. اما ترکیب این دو نوع نمره اثربخش نیست. آزمون کنکور هنجار مرجع و با چولگی مثبت است و سوابق تحصیلی از آزمون های مختلف به دست می آید که ملاک مرجع و با چولگی منفی هستند. ترکیب آن ها ایجاد یک توزیع دو نمایی می کند که در برآورد نمره ی واقعی واریانس صفر یا منفی تولید می کند و ضرایب تعمیم پذیری به دست آمده را بی اعتبار می سازد. درنهایت تبدیل نمرات به رتبه های صدکی برای حذف چولگی و سپس تبدیل رتبه ها به توزیع نمرات استاندارد z برای ترکیب کردن توزیع دو نوع نمره، باعث افزایش واریانس واقعی و بهبود ضرایب تعمیم پذیری و اعتمادپذیری می شود. همچنین در تهیه ی نمره ی کل ترکیبی برای این گروه آزمایشی باید تعداد دروس عمومی آن ها را کاهش داد و هم زمان تک نمره ی ریاضی در خرده آزمون های اختصاصی آن ها را به 4 لایه نمره تفکیک کرد.

فرایند سنجش و پذیرش افراد توانمند و کارآمد برای تحصیل در دوره دکترای تخصصی در ایران بسیار پر چالش بوده است. اهمیت این مسئله به حدی است که ویژگی های روان سنجی سنجه های پذیرش و ملاک های مهم آن، همچنین شیوه آزمون گیری به صورت تستی یا تشریحی برای تدوین الگوی بهینه پذیرش داوطلبان همواره در بین مجامع دانشگاهی، سیاست گذاران، و متقاضیان ورود به تحصیلات تکمیلی محل بحث و جدال است. هدف اولیه این پژوهش مشخص کردن ضرایب شبه پایایی این معیارها بوده است. روش این پژوهش از نوع توصیفی است، و در چارچوب تئوری تعمیم پذیری، پایایی سنجه ها و معیارهای-داده های ثانویه-مربوط به برنامه سنجش و پذیرش دکتری رشته مهندسی برق گرایش قدرت در 37 دانشکده پذیرنده دکتری در دانشگاه های ملی مختلف در سال 1397 را بررسی کرده است. داده ها با نرم افزار  mGENOVA بر اساس تحلیل چند متغیری با یک طرح تک رویه ای p^•×i^° تحلیل شده اند. نتایج نشان داد که چهار آزمون تخصصی، و دو آزمون عمومی به دلیل سختی سؤالات و بی پاسخ بودن، و به کارگیری نمره گذاری فرمولی، پایایی و دقت مناسبی ندارند. دو معیار ترکیبی مصاحبه که از سنجه های متفاوتی تشکیل شده اند، از ضرایب تعمیم پذیری و اعتمادپذیری بهتری برخوردار بودند. افزودن معدل کارشناسی و کارشناسی ارشد، به عنوان متغیر پیش بینی کننده جداگانه، به دلیل محدودیت دامنه در برآورد نمرات جهانی ترکیبی کارایی چندانی ندارد. در یک برنامه پذیرش دکتری که سازه زیربنایی ای بسیار گسترده ای تعریف، و سنجه های چندگانه ای استفاده می شود، مؤلفه های خطای بیشتری نیز وجود خواهد داشت. بنابراین، نمی توان تنها یک مقدار پایایی معین برای سنجه های آن مشخص کرد. امّا با تعدیل سطوح دشواری آزمون ها، استفاده از طرح های نمره گذاری سهمی سؤالات بدون جریمه حدس شانسی، نمونه گیری کاملتر از سازه زیربنایی و افزایش لایه های سطوح می توان تصمیم گیری های آموزشی با ریسک بالا را برای طبقه بندی افراد، با پیش بینی های نادرست کمتری انجام داد.

عملکرد موفقیت آمیز داوطلب دوره دکتری مهم ترین عامل در تصمیم گیری اعضای کمیته پذیرش است که کمک می کند کدام داوطلب را بپذیرند. یکی از مباحثی که همیشه همراه با نمره های آزمون های پذیرش وجود داشته، مسئله روایی نمره های  در پیش بینی عملکرد موفقیت آمیز  داوطلبان بوده است. هدف از اجرای این پژوهش، بررسی روایی ملاکی-پیش بین نمره های آزمون های تخصصی  در چهار رشته دکتری مهندسی روی سنجه های مصاحبه  به عنوان ملاک عملکرد موفقیت آمیز  بوده است. در این پژوهش که توصیفی از نوع همبستگی است، رتبه های داوطلبان در آزمون های اختصاصی  و مصاحبه  در چهار رشته دکتری مهندسی در سال 1397 بر اساس تئوری تعمیم پذیری تحلیل شدند. بسته به رشته دانشگاهی داده های آزمون شوندگان دربرگیرنده نمره آنها روی 3 تا 8 خرده آزمون اختصاصی  و 2 نمره ترکیبی ملاک مصاحبه  بود. داده ها با نرم افزار mGENOVA بر اساس یک طرح تک رویه ای  تحلیل شدند. سپس همبستگی بین دو نمره جهانی ترکیبی با توزیع نرمال دومتغیری در نمودار پراکندگی نشان داده شده است. نتایج نشان می دهد نمره های آزمون های تخصصی  به خوبی می توانند نمره های افراد را در ملاک مصاحبه  به عنوان شاخص عملکرد موفقیت آمیز  یا کیفیت داوطلب پیش بینی کنند (به جز در رشته فناوری اطلاعات)؛ تعداد زیاد خرده آزمون های تخصصی، ناپایایی آنها و واریانس نابسته به سازه از عواملی هستند که می توانند پیش بینی های درست برای پذیرش یا رد داوطلبان را –به ویژه روی نمره برش- تحت تأثیر قرار دهند. اگرچه پیش بینی دقیق عملکرد موفقیت آمیز  داوطلبان دوره دکتری به وسیله نمره های آزمون ها  هدف دست نیافتنی است، اما تعریف بهتر آنچه ملاک موفقیت  در دوره دکتری است و بااهمیت تر شدن آزمون های عمومی زبان و استعداد  و هم زمان تعدیل سطوح دشواری این آزمون ها و کاهش خطای اندازه گیری سنجه های پیش بینی کننده  در یک برنامه سنجش دومرحله ای که در آن آزمون های عمومی زبان و استعداد به عنوان غربال اولیه توسط سازمان سنجش برگزار شود و آزمون های اختصاصی و مصاحبه توسط دانشگاه ها، می تواند راه بهینه ای باشد برای افزایش روایی نمره های آزمون ها  در پیش بینی عملکرد موفقیت آمیز  داوطلبان و پذیرش دانشجویان باکیفیت تر.