سطح خوانایی مدرک و پیچیدگی عینی وظایف کاری: آیا در قضاوت ربط و رتبه بندی تاثیر دارد؟ (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
هدف: شناخت نقش سطح خوانایی مدرک و پیچیدگی عینی وظیفه کاری در قضاوت ربط و رتبه بندی دانشجویان از مدارک است . روش: پژوهش حاضر کاربردی است و از تحلیل محتوای کمّی به منظور تعیین سطح خوانایی متون استفاده شده است. جامعه آماری پژوهش را 2825 نفر از دانشجویان تحصیلات تکمیلی حوزه علوم انسانی دانشگاه شیراز تشکیل داده اند. برای تعیین حجم نمونه با توجه به زمان بربودن فرایند قضاوت ربط مدارک و محدودیت وقت آزمودنی ها و حجم نمونه در سایر مطالعات رفتار اطلاع جویی، از روش نمونه گیری غیراحتمالی از نوع داوطلبانه به تعداد 60 نفر استفاده شد. برای تعیین پیچیدگی عینی، دو وظیفه کاری براساس چارچوب طراحی وظیفه کاری بورلند (2000)، مخزن وظیفه جست وجو و نظرات متخصصان طراحی شد. پس از اینکه متخصصان وظایف کاری را تأیید روایی کردند، پنج نفر از متخصصان با جست وجو در پایگاه های مقالات فارسی شامل مرکز اطلاعات علمی جهاد دانشگاهی، مگ ایران و نورمگز چهار مقاله مرتبط، چهار مقاله تاحدی مرتبط و دو مقاله نامرتبط از نظر میزان ربط را انتخاب کردند. همچنین با تعیین سطح خوانایی این مقالات با استفاده از فرمول خوانایی فلش دیانی، مقالات در دو سطح دشوار و خیلی دشوار دسته بندی شدند. در مرحله بعد، کاربران ده مقاله مربوط به دو وظیفه کاری را در طیف شش درجه ای (از کاملاً نامرتبط تا کاملاً مرتبط) نمره دهی و در مرحله بعد براساس درجه ربط رتبه بندی (رتبه 1 تا 10) کردند. داده ها با نرم افزار آماری علوم اجتماعی نسخه اس پی اس اس ۲۳ تحلیل و برای پاسخ به پرسش ها از آزمون های تی تست و یو من ویتنی استفاده شد. نتیجه گیری : نقش سطح خوانایی مدارک و پیچیدگی عینی وظیفه بر قضاوت ربط و رتبه بندی مدارک اثرگذار است. بنابراین، بررسی اثر این شاخص ها در حوزه قضاوت ربط در بهبود طراحی سامانه های بازیابی اطلاعات و افزایش کیفیت طراحی الگوریتم های ربط و رتبه بندی مؤثر است.Document Readability Level and Objective Complexity of Work Tasks: Any Impact on Relevance Judgment and Ranking?
Purpose : Aims to identify the role of document readability level and the objective complexity of the work task on students' relevance judgment and document ranking. Methods : Quantitative content analysis was utilized to determine the readability level of texts. The statistical population of the research included 2825 graduate students of Shiraz University of Humanities. To determine the sample size, due to time-consuming process of relevance judgment, students’ time constraint, and sample size of similar studies, a non-probability sampling method of voluntary type was used. Two work tasks were designed based on Borland's (2000) Repository of Assigned Search Tasks and experts' opinions. After confirming the validity of the work tasks by the experts, searching through the Persian article databases, including SID, Magiran, and Noormags, four relevant, four partially relevant, and two irrelevant articles were selected by five experts The articles were divided into difficult and very difficult levels by determining their readability levels using Flash-Diani readability formula. In the next step, ten articles related to two work tasks were scored by users in a six-level spectrum (from entirely irrelevant to entirely relevant) then ranked based on the relevance degree (from 1 to 10). Data was analyzed using social science statistical software version 23 (SPSS), and T-tests and Mann-Whitney U tests were conducted. Findings : The results showed significant difference between students' relevance judgment with different readability levels. Students rated documents with difficult readability levels more relevant than documents with very difficult readability levels. In addition, considering the role of readability level on the ranking, there was a significant difference between the rankings of relevance in the documents with different readability levels according to the students. Documents with difficult readability levels were ranked lower in terms of relevance. Therefore, students performed finer on rating documents with difficult readability levels. Findings about the role of complexity level of work showed that objective complexity of the work task affected the students' relevance judgment. The retrieved documents related to the simple work task were found to be more relevant than the complex work task. Regarding the role of complexity level of work tasks on ranking, findings revealed that the level of objective complexity of the work task affected the ranking of documents, and the simple work task ranked lower in terms of relevance ranking. Therefore, students performed finer on the simple work task than on the complex work task regarding relevance rating. Conclusion : The role of level of readability of documents and objective complexity of the task affected relevance, judgment, and ranking. Further research on the effect of these indicators on relevance judgment can improve the design of information retrieval systems and increase the quality of the relevance and ranking algorithms.
تبلیغات
