داوری همتا

داوری همتا نقشی تعیین کننده در سرنوشت نهایی مقالات پژوهشی ارائه شده به مجلات بین المللی انگلیسی زبان ایفا می کند. در تحقیق حاضر مجموعه ای از نقدهای داوران همتا در 32 مقاله ی پژوهشی در 3 رشته ی مختلف از تعدادی دانشجوی کارشناسی ارشد ایرانی مطالعه گردید و تجزیه و تحلیل محتوایی بر روی آنها انجام گرفت تا الگوهای ساختاری مشترک در بین نقدهای داوران و همچنین، پرتکرارترین انواع اشکالات تشخیص داده شده توسط داوران تعیین گردد. نتایج تحقیق آشکار نمود که نقدهای بررسی شده به لحاظ سازمان دهی ساختاری و نیز توازن مثبت/منفی نقطه نظرات از الگوی معینی پیروی کرده اند. همچنین، نتایج نشان داد که پرتکرارترین نوع اشکالات واردشده از سوی داوران، کاستی های مرتبط با محتوای پژوهش ها بوده است. ولیکن، از آنجا که اطلاعات علمی از طریق زبان منتقل می گردد و ضعف در محتوا اغلب با مسائل زبانی هم پوشانی دارد، لازم است نقدهای مربوط به کاربرد زبانی به اندازه ایرادات محتوایی حائز اهمیت تلقی گردند.

هدف : این پژوهش به بررسی نقش مدل های بزرگ زبانی در شناسایی مغالطات منطقی در فرایند داوری همتا پرداخته و تأثیر این فناوری ها بر بهبود دقت، شفافیت و قابلیت اطمینان مقالات علمی را مورد ارزیابی قرار می دهد. همچنین، امکان به کارگیری این مدل ها برای کاهش بار کاری داوران انسانی و استانداردسازی ارزیابی ها بررسی شده است. روش پژوهش: سه آزمایش متفاوت در پژوهش حاضر طراحی و اجرا شد که شامل شناسایی و طبقه بندی مغالطات منطقی، حل مسائل استدلالی و ارزیابی متون علمی با طول و پیچیدگی متغیر بود. از مجموعه داده های استاندارد نظیر الک دب60-20 و سؤالات بخش منطق استعداد تحصیلی در آزمون دکتری ایران استفاده شد. مدل های زبانی پیشرفته مانند چت جی پی تی نسخه های o4 وo1  با روش های یادگیری ماشین کلاسیک نظیر ماشین بردار پشتیبان و جنگل تصادفی مقایسه شدند. مدل ها با استفاده از روش های بهینه سازی و یادگیری بدون نمونه برای تحلیل داده ها آماده شدند. یافته ها: نتایج آزمایش ها نشان داد که چت جی پی تی o1 در شناسایی مغالطات منطقی به دقت 98.1 درصد و در حل مسائل منطقی آزمون استعداد تحصیلی کنکور دکتری به دقت 100 درصد دست یافت. در مقایسه، مدل های سنتی یادگیری ماشین، مانند ماشین بردار پشتیبان و جنگل تصادفی، به ترتیب تنها دقت 48 درصد و 49 درصد داشتند. مدل های زبانی میسترال و لاما نیز دقتی بین 76 درصد تا 5/78 درصد در شناسایی مغالطات ارائه کردند. در تحلیل متون طولانی تر، چت جی پی تی o1 دقت 100 درصد را در شناسایی و نام گذاری انواع مغالطات ثبت کرد، در حالی که مدل های دیگر توانایی کمتری نشان دادند. همچنین مدل های زبانی پیشرفته در تحلیل استدلال های پیچیده و ارائه بازخوردهای ساختاریافته بسیار مؤثر بودند. نتیجه گیری: مدل های بزرگ زبانی ، به ویژه چت جی پی تی o1، توانایی بالایی در شناسایی و تحلیل مغالطات منطقی و بهبود فرایند داوری همتا دارند. این مدل ها با کاهش خطاهای انسانی، افزایش سرعت داوری و ارائه تحلیل های دقیق، نقشی کلیدی در بهبود کیفیت مقالات علمی ایفا می کنند. به کارگیری این فناوری ها می تواند به تقویت انسجام و شفافیت در فرایندهای علمی منجر شود، هرچند نظارت نهایی داوران انسانی برای ترکیب تخصص انسانی و هوش مصنوعی ضروری است.

هدف: داوری همتا یکی از مهم ترین ابزارهای تضمین کیفیت مقالات علمی است که نقش اساسی در ارزیابی پژوهش ها و تامین اعتبار علمی مجلات ایفا می کند. با این حال، در مجلات داخلی، این فرایند با چالش های متعددی روبه رو است که می تواند بر کیفیت و اعتبار مقالات تأثیر منفی بگذارد. پژوهش حاضر با هدف واکاوی در تجربه زیسته شرکت کنندگان به منظور شناسایی مشکلات موجود در فرایند داوری مجلات داخلی و ارائه راهکارهایی برای بهبود انجام شد. روش: این مطالعه با رویکرد کیفی و روش پدیدارشناسی توصیفی انجام شد. داده ها از طریق مصاحبه های نیمه ساختاریافته با 12 نفر از مُطلعان که تجربه ارسال و داوری مقالات برای مجلات علمی وزارت علوم را داشتند، گردآوری شد. تحلیل داده ها بر اساس راهبرد کُلایزی انجام شد. یافته ها: برپایه تجربه زیسته شرکت کنندگان، مشکلات داوری در مجلات علمی وزارت علوم در حوزه علوم رفتاری را می توان در چهار مضمون اصلی شامل مشکلات معطوف به اخلاق داوری، مشکلات معطوف به زیرساخت فناوری، مشکلات معطوف به سیاست های آموزشی پژوهشی و مشکلات معطوف به شفافیت دسته بندی کرد. در حوزه «مشکلات معطوف به اخلاق داوری» مواردی شامل سوگیری در داوری، مشکلات ساختاری در فرایند داوری، کیفیت پایین داوری، اعتبار سنجی و نمایه سازی؛ در حوزه «مشکلات معطوف به زیرساخت فناوری» مواردی شامل ضعف در رابط کاربری و عملکرد و سرعت؛ در حوزه «مشکلات معطوف به سیاست های آموزشی پژوهشی» مواردی شامل فقدان انگیزه داوری و تمرکز بر تعداد؛ و در حوزه «مشکلات معطوف به شفافیت» مواردی شامل ابهام در مسائل مالی و ذهنی بودن ملاک های ارزیابی، شناسایی گردید نتیجه گیری: فرایند داوری در مجلات علمی حوزه علوم رفتاری وزارت علوم به اصلاحاتی در حوزه های سیاست گذاری، فناوری، اخلاق پژوهشی و شفافیت فرایندها نیازمند است. بهبود نظام انگیزشی داوران، افزایش شفافیت در سیاست های داوری، به روزرسانی زیرساخت های فناوری و تدوین ملاک ها و استانداردهای یکپارچه و عادلانه در ارزیابی، اعتبارسنجی و تضمین کیفیت از جمله راهکارهای پیشنهادی برای ارتقای کیفیت داوری مقالات در مجلات علمی است. اجرای این راهکارها می تواند ضمن افزایش کیفیت مقالات منتشرشده به بهبود اعتبار علمی مجلات داخلی و زمینه سازی حرکت به سمت مرجعیت علمی منجر شود.