داوری همتا

داوری همتا نقشی تعیین کننده در سرنوشت نهایی مقالات پژوهشی ارائه شده به مجلات بین المللی انگلیسی زبان ایفا می کند. در تحقیق حاضر مجموعه ای از نقدهای داوران همتا در 32 مقاله ی پژوهشی در 3 رشته ی مختلف از تعدادی دانشجوی کارشناسی ارشد ایرانی مطالعه گردید و تجزیه و تحلیل محتوایی بر روی آنها انجام گرفت تا الگوهای ساختاری مشترک در بین نقدهای داوران و همچنین، پرتکرارترین انواع اشکالات تشخیص داده شده توسط داوران تعیین گردد. نتایج تحقیق آشکار نمود که نقدهای بررسی شده به لحاظ سازمان دهی ساختاری و نیز توازن مثبت/منفی نقطه نظرات از الگوی معینی پیروی کرده اند. همچنین، نتایج نشان داد که پرتکرارترین نوع اشکالات واردشده از سوی داوران، کاستی های مرتبط با محتوای پژوهش ها بوده است. ولیکن، از آنجا که اطلاعات علمی از طریق زبان منتقل می گردد و ضعف در محتوا اغلب با مسائل زبانی هم پوشانی دارد، لازم است نقدهای مربوط به کاربرد زبانی به اندازه ایرادات محتوایی حائز اهمیت تلقی گردند.

هدف : این پژوهش به بررسی نقش مدل های بزرگ زبانی در شناسایی مغالطات منطقی در فرایند داوری همتا پرداخته و تأثیر این فناوری ها بر بهبود دقت، شفافیت و قابلیت اطمینان مقالات علمی را مورد ارزیابی قرار می دهد. همچنین، امکان به کارگیری این مدل ها برای کاهش بار کاری داوران انسانی و استانداردسازی ارزیابی ها بررسی شده است. روش پژوهش: سه آزمایش متفاوت در پژوهش حاضر طراحی و اجرا شد که شامل شناسایی و طبقه بندی مغالطات منطقی، حل مسائل استدلالی و ارزیابی متون علمی با طول و پیچیدگی متغیر بود. از مجموعه داده های استاندارد نظیر الک دب60-20 و سؤالات بخش منطق استعداد تحصیلی در آزمون دکتری ایران استفاده شد. مدل های زبانی پیشرفته مانند چت جی پی تی نسخه های o4 وo1  با روش های یادگیری ماشین کلاسیک نظیر ماشین بردار پشتیبان و جنگل تصادفی مقایسه شدند. مدل ها با استفاده از روش های بهینه سازی و یادگیری بدون نمونه برای تحلیل داده ها آماده شدند. یافته ها: نتایج آزمایش ها نشان داد که چت جی پی تی o1 در شناسایی مغالطات منطقی به دقت 98.1 درصد و در حل مسائل منطقی آزمون استعداد تحصیلی کنکور دکتری به دقت 100 درصد دست یافت. در مقایسه، مدل های سنتی یادگیری ماشین، مانند ماشین بردار پشتیبان و جنگل تصادفی، به ترتیب تنها دقت 48 درصد و 49 درصد داشتند. مدل های زبانی میسترال و لاما نیز دقتی بین 76 درصد تا 5/78 درصد در شناسایی مغالطات ارائه کردند. در تحلیل متون طولانی تر، چت جی پی تی o1 دقت 100 درصد را در شناسایی و نام گذاری انواع مغالطات ثبت کرد، در حالی که مدل های دیگر توانایی کمتری نشان دادند. همچنین مدل های زبانی پیشرفته در تحلیل استدلال های پیچیده و ارائه بازخوردهای ساختاریافته بسیار مؤثر بودند. نتیجه گیری: مدل های بزرگ زبانی ، به ویژه چت جی پی تی o1، توانایی بالایی در شناسایی و تحلیل مغالطات منطقی و بهبود فرایند داوری همتا دارند. این مدل ها با کاهش خطاهای انسانی، افزایش سرعت داوری و ارائه تحلیل های دقیق، نقشی کلیدی در بهبود کیفیت مقالات علمی ایفا می کنند. به کارگیری این فناوری ها می تواند به تقویت انسجام و شفافیت در فرایندهای علمی منجر شود، هرچند نظارت نهایی داوران انسانی برای ترکیب تخصص انسانی و هوش مصنوعی ضروری است.