شواهد بیانگر این می باشد که تغییر پذیری در ارزیابی نگارش دانشجویان فقط نتیجه تفاوت مهارت نوشتاری آنها نیست بلکه عوامل بیرونی خاصی در این امر دخیلند و عوامل مرتبط با مصحح، فعالییت، موقعییت یا تعامل هر یک از اینها میتوانند در تصمیم گیریها و استنباطها در مورد توانایی نگارش فراگیران تاثیر بگذارند. هدف این تحقیق این است که مساله تغییرپذیری را در داوری مصحح به عنوان منبع خطای سنجش در ارزیابی نگارش فراگیران زبان انگلیسی به عنوان زبان خارجه مورد بررسی قرار دهد. به این منظور مقالات 32 دانشجوی ایرانی زبان انگلیسی بوسیله شش مصحح ارزشیابی و نتایج با استفاده از مدل رش و برنامه فست مورد تحلیل قرار گرفتند. یافته ها نشان دادند که تفاوتهای معنی داری در میزان سختگیری مصحح ها وجود دارد و تعامل مصحح با فراگیر باعث ایجاد تورش در ارزشیابی میشود. از آنجایی که ارزیابی مهارت نوشتن امری ذهنی میباشد و بر اساس داوری مصحح می تواند متغیر باشد، بررسی و شناخت عواملی که باعث عینی تر شدن این ارزیابی میشود امری ضروری به شمارمی رود. ذهنی بودن روند ارزیابی مهارت نوشتن تهدیدی برای روایی آزمون است و سبب می شود که نمره فراگیر نشان دهنده مهارت واقعی وی نباشد. این تحقیق نشان می دهد چطور ارزیابی می تواند کارامد و سودمند باشد و چگونه می توان انصاف و صحت عملکرد ذهنی را سنجید.
