شناسایی رویکرد بهینه همترازسازی در آزمون های چندبعدی (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
همترازسازی از مهم ترین مسائل در نظام سنجش تربیتی است و عدم برقراری مفروضات آن، اندازه گیری را با چالش های جدی مواجه می کند. در آزمون های چندبعدی، استفاده از روش های تک بعدی همترازسازی، سوگیری نتایج را به دنبال دارد. هدف از اجرای این پژوهش، شناسایی رویکرد بهینه همترازسازی در آزمون های چندبعدی بود. شش روش همترازسازی تک بعدی و چندبعدی مقایسه شدند. روش همصدک به لحاظ مقاوم بودن در برابر مفروضه تک بعدی بودن به عنوان ملاکی برای مقایسه سایر روش ها مدنظر قرار گرفت. جامعه آماری شامل همه داوطلبان گروه علوم ریاضی و فنی کنکور سراسری سال 96 و 97 بود. داده های آزمون ریاضی تعداد 5000 نفر از هر دو سال برای همترازسازی انتخاب شدند. ابعاد آزمون ها با استفاده از نرم افزارهای MPLUS وNOHARM مشخص شد. برای برآورد پارامترهای تک بعدی از بستهltm و برای برآورد پارامترهای چندبعدی از بسته mirt در نرم افزار R استفاده شد. همترازسازی نمره مشاهده شده و نمره واقعی تک بعدی IRT با استفاده از نرم افزار PIE و همترازسازی همصدک با استفاده از نرم افزار R بسته equate انجام گرفت. از بسته های mirt، mvnorm و MASS در نرم افزار R نیز برای همترازسازی چندبعدی داده ها استفاده شد. نتایج نشان داد که در همترازسازی آزمون های چندبعدی بهینه ترین روش، همترازسازی چندبعدی کامل است و پس از آن روش نمره مشاهده شده چندبعدیِ تک بعدی شده، روش مناسبی است، اما استفاده از روش های تک بعدی نمره مشاهده شده و نمره واقعی در چنین شرایطی، کارایی مناسبی ندارد. بنابراین پیشنهاد می شود در همترازسازی آزمون هایی که ساختار چندبعدی دارند، از روش همترازسازی نمره مشاهده شده چندبعدی کامل استفاده شود.Identification of Optimal Equating Method in Multidimensional Tests
Equating is one of the most important issues in educational measurement, violation of the assumptions of which results in serious challenges in it. In multidimensional tests, the use of unidimensional equating methods causes bias in results. Therefore, the purpose of this study was to identify the optimal equating methods in multidimensional tests. Six equating methods consisting of unidimensional and multidimensional methods was compared with each other. The equipercentile method was considered as the criterion for comparing the other methods in terms of being robust against the unidimensionality assumption. The statistical population consisted of all the candidates in Mathematics’ entrance exam in the years 2017 and 2018. Mathematics’ exam data of 5,000 people from both years were selected for equating. Test dimensions were determined using NOHARM and MPLUS software, the ltm package was used to estimate the unidimensional parameters and the mirt package in the R software was used to estimate the multidimensional parameters. IRT unidimensional observed score and true score equating conduct with PIE program and equipercentile equating was performed using R equate package. The mirt, mvnorm, and MASS packages in R software were also used for multidimensional equating. The results showed that the most optimal method for multidimensional tests equating was FULL MIRT observed score equating,and then the unidimensionalized MIRT observed score equating is the appropriate method and that using unidimensional methods of the observed score and true score are not efficient in such conditions. Therefore, it is recommended that FULL MIRT observed score methods are used in equating tests with multidimensional structure.
تبلیغات
