مطالعات اندازه گیری و ارزشیابی آموزشی

هدف از اجرای این پژوهش، بررسی تغییرناپذیری ساختار عاملی آزمون سراسری و پارامترهای سؤال (بارعاملی و آستانه) در استان ها بود. روش پژوهش توصیفی همبستگی است. برای بررسی هدف پژوهش از هر استان نمونه ای به حجم1000 نفر از شرکت کنندگان در آزمون ریاضی گروه آزمایشی ریاضی وفنی 1396 انتخاب شد. نتایج نشان داد عملکرد آزمودنی ها در تهران، اصفهان، خراسان رضوی، فارس، مازندران، یزد و البرز در بیشتر سؤال ها در مقایسه با سایر استان ها بهتر است. تعداد سؤال های تغییرپذیر در تهران و ایلام از سایر استان ها بیشتر است. روش بهینه سازی ترازبندی نشان داد 5/37% سؤال ها در عامل اول و16% درصد در عامل دوم برای تمامی استان ها دارای تغییرناپذیری تقریبی آستانه ها و83% سؤال ها در عامل اول و 71% در عامل دوم دارای تغییرناپذیری بارهای عاملی است. تعداد سؤال های تغییرپذیر در عامل دوم، بیشتر از عامل اول است، بنابراین برای مقایسه آزمودنی ها در استان ها بهتر است از سؤال های عامل اول استفاده شود. بررسی DIF در تعداد زیادی از گروه ها تنها با روش ترازبندی کافی نیست، اگر گروه خاصی در پژوهش موردنظر باشد لازم است روش های DIF دوگروهی استفاده شود.

هدف از اجرای پژوهش حاضر، بررسی نقش کارفرمایان در ارزشیابی برنامه های درسی دانشگاه های برتر کشور و جهان به منظور طراحی یک مقیاس ارزشیابی برنامه درسی ویژه کارفرمایان بود. روش پژوهش، ترکیبی اکتشافی متوالی از نوع ابزارسازی و جامعه آماری شامل شش گروه بوده است. گروه اول، اعضای هیئت علمی و صاحب نظران برنامه ریزی درسی دانشگاه های برتر، گروه دوم، مسئولان مراکز برنامه ریزی آموزشی دانشگاه های برتر، گروه سوم، مسئولان ذی ربط وزارت علوم، گروه چهارم، دانشگاه های برترجهان، گروه پنجم، مدرسان دوره کارشناسی ارشد رشته های علوم تربیتی، علوم اجتماعی، علوم اداری دانشگاه های دولتی و گروه ششم کارفرمایان بودند. ابزار گرد آوری داده ها، مصاحبه نیمه سازمان یافته، تحلیل مستندات و مقیاس محقق ساخته بوده است. یافته ها نشان داد که در دانشگاه های معتبر جهان ارتباط تنگاتنگی بین دانشگاه و کارفرما وجود دارد و کارفرمایان در تدوین برنامه های درسی، تعیین استانداردهای حرفه ای مشاغل، ارزیابی دانش و مهارت دانشجویان، اعتبارسنجی برنامه های درسی، تبیین انتظارات از دانش آموختگان، مشاوره شغلی و حتی تدریس، نقش دارند. در مقایسه با آن، در دانشگاه های برتر کشور، کارفرمایان به جز در موارد معدود، در فرایند ارزشیابی برنامه های درسی مشارکت ندارند. با استفاده از داده ها، یک مقیاس ارزشیابی برنامه درسی از دیدگاه کارفرمایان شامل 21 عبارت و 6 پرسش باز تدوین شده است.

هدف از اجرای این پژوهش، تدوین چارچوبی زمینه مند از بایسته های رفتاری اعضای هیئت علمی دانشگاه از طریق کشف مضامین و فرامضامینِ نقش های آموزشی ایشان بوده است. روش پژوهش، پدیدار شناسی و میدان پژوهش، دانشجویان دوره های تحصیلات تکمیلی دانشگاه فردوسی مشهد در رشته های علوم انسانی بوده اند. نمونه گیری هدفمند از نوع حداکثر اختلاف صورت پذیرفت. گردآوری داده ها به وسیله فن مصاحبه نیمه ساختاریافته با مشارکت کنندگان انجام گرفت تا نهایتاً در سی ودومین مصاحبه، اشباع حاصل شد. تحلیل داده ها به شیوه کلایزی نشان داد که چارچوبِ رفتارهای آموزشی اعضای هیئت علمی دانشگاه از دید دانشجویان تحصیلات تکمیلی مشتمل بر 15 مضمون و 5 فرامضمون شامل خبرگی آموزشی، مربی گری، ارزیابی عادلانه، توانمندسازی و پاسخگویی است.

هدف از اجرای این پژوهش، شناسایی الزام های ارزشیابی مطلوب از عملکرد معلمان دوره ابتدایی بود. روش پژوهش؛ پژوهش نظریه ای و منابع گردآوری داده ها شامل اسناد فرادست، نظرات متخصصان موضوعی، تجارب جهانی و نظرات معلمان ذی نفع بود. برای پاسخ به پرسش های پژوهش، از تحلیل مضمون و تحلیل اسناد استفاده شد. در این مطالعه، الزام های نه گانه ارزشیابی معلمان، استخراج شد. سپس مؤلفه ها و محورهای اصلی ارزشیابی مطلوب از عملکرد معلمان دوره ابتدایی در چهار محور ارتباط با دانش آموز، توسعه حرفه ای، ویژگی های شخصیتی و تعامل اجتماعی شناسایی شد. بر اساس همسویی داده های گردآوری شده از طریق منابع مختلف و اجماع کلی صاحب نظران، اعتبار کلی فرایند پژوهش و چارچوب الزام های ارزشیابی، مورد تأیید قرار گرفت. بر اساس یافته های این مطالعه می توان استنتاج کرد که افزایش کیفیت ارزشیابی از معلمان، مستلزم تغییر نگاه سیاست گذاران آموزشی به ارزشیابی معلمان و مؤلفه های ارزشیابی است و باید از منابع و ذی نفعان متنوعی مشتمل بر همکاران، اولیا و دانش آموزان بهره گیری کرد. همچنین نیاز است که در زمینه شکل دهی انتظارات واقعی از معلمان توسط جامعه عمومی و ذی نفعان، فرهنگ سازی شده و از ابزارها و کاربرگ های ارزشیابی متنوعی بهره گیری شود. چنانچه رویه موجود در ارزشیابی معلمان تداوم یابد و به الزامات آن کم توجهی شود؛ بالندگی نظام آموزشی با مانع مواجه خواهد شد.

عملکرد موفقیت آمیز داوطلب دوره دکتری مهم ترین عامل در تصمیم گیری اعضای کمیته پذیرش است که کمک می کند کدام داوطلب را بپذیرند. یکی از مباحثی که همیشه همراه با نمره های آزمون های پذیرش وجود داشته، مسئله روایی نمره های  در پیش بینی عملکرد موفقیت آمیز  داوطلبان بوده است. هدف از اجرای این پژوهش، بررسی روایی ملاکی-پیش بین نمره های آزمون های تخصصی  در چهار رشته دکتری مهندسی روی سنجه های مصاحبه  به عنوان ملاک عملکرد موفقیت آمیز  بوده است. در این پژوهش که توصیفی از نوع همبستگی است، رتبه های داوطلبان در آزمون های اختصاصی  و مصاحبه  در چهار رشته دکتری مهندسی در سال 1397 بر اساس تئوری تعمیم پذیری تحلیل شدند. بسته به رشته دانشگاهی داده های آزمون شوندگان دربرگیرنده نمره آنها روی 3 تا 8 خرده آزمون اختصاصی  و 2 نمره ترکیبی ملاک مصاحبه  بود. داده ها با نرم افزار mGENOVA بر اساس یک طرح تک رویه ای  تحلیل شدند. سپس همبستگی بین دو نمره جهانی ترکیبی با توزیع نرمال دومتغیری در نمودار پراکندگی نشان داده شده است. نتایج نشان می دهد نمره های آزمون های تخصصی  به خوبی می توانند نمره های افراد را در ملاک مصاحبه  به عنوان شاخص عملکرد موفقیت آمیز  یا کیفیت داوطلب پیش بینی کنند (به جز در رشته فناوری اطلاعات)؛ تعداد زیاد خرده آزمون های تخصصی، ناپایایی آنها و واریانس نابسته به سازه از عواملی هستند که می توانند پیش بینی های درست برای پذیرش یا رد داوطلبان را –به ویژه روی نمره برش- تحت تأثیر قرار دهند. اگرچه پیش بینی دقیق عملکرد موفقیت آمیز  داوطلبان دوره دکتری به وسیله نمره های آزمون ها  هدف دست نیافتنی است، اما تعریف بهتر آنچه ملاک موفقیت  در دوره دکتری است و بااهمیت تر شدن آزمون های عمومی زبان و استعداد  و هم زمان تعدیل سطوح دشواری این آزمون ها و کاهش خطای اندازه گیری سنجه های پیش بینی کننده  در یک برنامه سنجش دومرحله ای که در آن آزمون های عمومی زبان و استعداد به عنوان غربال اولیه توسط سازمان سنجش برگزار شود و آزمون های اختصاصی و مصاحبه توسط دانشگاه ها، می تواند راه بهینه ای باشد برای افزایش روایی نمره های آزمون ها  در پیش بینی عملکرد موفقیت آمیز  داوطلبان و پذیرش دانشجویان باکیفیت تر.

پژوهش حاضر با هدف تدوین و اعتبارسنجی چهارچوب ارزیابی کیفیت موک اجرا شده است. بدین منظور، عوامل مؤثر بر کیفیت موک ها از منابع علمی، استخراج و طبقه بندی و به صورت یک چهارچوب تدوین شدند. جامعه پژوهش، متخصصان تکنولوژی از سراسر کشور بودند. به علت پراکندگی جامعه، نمونه پژوهش (200 نفر) به روش غیرتصادفی و در دسترس انتخاب شدند. ابزار مورد استفاده پرسشنامه محقق ساخته بوده است که روایی صوری آن را استادان تکنولوژی آموزشی دانشگاه اصفهان تأیید کردند. داده های مطالعه با روش تحلیل عاملی تأییدی و با استفاده از نرم افزار SmartPLS  تجزیه وتحلیل شدند. نتایج پژوهش نشان داد چهارچوب ارزیابی کیفیت موک (چکموک) از نظر ارزیابی مدل اندازه گیری، که با شاخص های آلفای کرونباخ، پایایی ترکیبی، روایی همگرا و روایی واگرا اندازه گیری شد، مطلوب، مناسب و قوی است؛ همچنین از نظر مدل ساختاری که از طریق شاخص های R2 و Q2 اندازه گیری شد نیز این چهارچوب قوی است.

همترازسازی از مهم ترین مسائل در نظام سنجش تربیتی است و عدم برقراری مفروضات آن، اندازه گیری را با چالش های جدی مواجه می کند. در آزمون های چندبعدی، استفاده از روش های تک بعدی همترازسازی، سوگیری نتایج را به دنبال دارد. هدف از اجرای این پژوهش، شناسایی رویکرد بهینه همترازسازی در آزمون های چندبعدی بود. شش روش همترازسازی تک بعدی و چندبعدی مقایسه شدند. روش همصدک به لحاظ مقاوم بودن در برابر مفروضه تک بعدی بودن به عنوان ملاکی برای مقایسه سایر روش ها مدنظر قرار گرفت. جامعه آماری شامل همه داوطلبان گروه علوم ریاضی و فنی کنکور سراسری سال 96 و 97 بود. داده های آزمون ریاضی تعداد 5000 نفر از هر دو سال برای همترازسازی انتخاب شدند. ابعاد آزمون ها با استفاده از نرم افزارهای MPLUS وNOHARM  مشخص شد. برای برآورد پارامترهای تک بعدی از بستهltm  و برای برآورد پارامترهای چندبعدی از بسته mirt در نرم افزار R استفاده شد. همترازسازی نمره مشاهده شده و نمره واقعی تک بعدی IRT با استفاده از نرم افزار PIE و همترازسازی همصدک با استفاده از نرم افزار R بسته equate انجام گرفت. از بسته های mirt، mvnorm و MASS در نرم افزار R نیز برای همترازسازی چندبعدی داده ها استفاده شد. نتایج نشان داد که در همترازسازی آزمون های چندبعدی بهینه ترین روش، همترازسازی چندبعدی کامل است و پس از آن روش نمره مشاهده شده چندبعدیِ تک بعدی شده، روش مناسبی است، اما استفاده از روش های تک بعدی نمره مشاهده شده و نمره واقعی در چنین شرایطی، کارایی مناسبی ندارد. بنابراین پیشنهاد می شود در همترازسازی آزمون هایی که ساختار چندبعدی دارند، از روش همترازسازی نمره مشاهده شده چندبعدی کامل استفاده شود.