مدل راش چندوجهی در آزمون های عملی: مورد مطالعه آزمون سُرایش
آرشیو
چکیده
هدف: هدف این پژوهش تحلیل داده های حاصل از آزمون های عملی سازمان سنجش با استفاده از مدل راش چندوجهی و مقایسه آن با نتایج حاصل از تحلیل های کلاسیک است. روش پژوهش: روش پژوهش کمی و از نوع توصیفی-تحلیلی است. مشارکت کنندگان شامل تمامی داوطلبان رشته آهنگسازی حاضر در آزمون عملی سُرایش بودند. داده مورد تحلیل از فرم های ارزیابی پر شده توسط چهار ارزیاب برای هر داوطلب بدست آمده است. یافته ها: یافته نشان می دهد اگر چه ضریب همبستگی میان ارزیاب ها بالا بوده (بیش از 90/0)، توافق ارزیاب ها براساس ضریب کاپا، در حد متوسط است. همچنین براساس نتایج راش چند وجهی، پارامتر سخت گیری ارزیاب ها در حد متوسط بوده است. نتیجه گیری: تمایز بین ضریب همبستگی و کاپا، نشان می دهد که نمی توان از هر یک از این شاخص ها به تنهایی برای تحلیل ارزیاب استفاده کرد، همچنین این ضرایب، وضعیت گروهی ارزیاب ها را نشان می دهند در حالی که راش چند وجهی وضعیت هر یک از ارزیاب ها را نشان می دهد. نتایج راش چند وجهی نشان داد که ارزیاب ها دچار خطای سخت گیری و سهل گیری نیستند.Multi-Faceted Rasch Model in Practical Tests: Study Subject: Sorayesh Test
Objective: The purpose of this research is to analyze the data obtained from the practical tests conducted by National Organization of Educational Testing, using the Multi-Faceted Rasch model and comparing it with the results of classical analysis methods. Methods: The research method is quantitative a type of descriptive-analysis method. The participants included all the songwriting candidates taking the Sorayesh practical test. The analyzed data has been obtained from the evaluation forms filled out by four evaluators for each candidate. Results: The findings show that although the correlation coefficient among raters was high (more than 0/90), the agreement of the raters in terms of the Kappa coefficient was average. Furthermore, based on the Multi-Faceted Rasch model, the raters strictness parameter was moderate. Conclusion: The difference between the correlation and the Kappa coefficient shows that these two indicators cannot be used alone to analyze the rater. Also, these indicators present the group status of the raters while the Multi-Faceted Rasch model shows the individual status of each rater. The results of the Multi-Faceted Rasch model indicated that the raters didn't exhibit strictness or leniency errors.
تبلیغات
