مجموعه های رتبه بندی شده

ارزیابی نظامهای بازیابی اطلاعات یکی از چالشهای بزرگ متخصصان علم اطلاعات است چون تعیین کارآیی یک نظام به قضاوت در مورد ربط مدارک ارائه شده با نیاز اطلاعاتی کاربر بستگی دارد و این موضوع دارای پیچیدگی های خاصی است. از طرفی نظامهای بازیابی وبی، بسیار متفاوت تر از نظامهای بازیابی سنتی هستند. در محیط وب نیز با نظامها با مجموعه های رتبه بندی شده و نظامها با مجمو عه های رتبه بندی نشده مواجه هستیم که هر کدام معیار و مقیاس ارزیابی خود را دارند. به همین دلیل، سنجش ربط بر اساس نوع رتبه بندی نتایج در این نظامها، متفاوت است. در این مقاله، معیارهای سنجش ربط در نظام های بازیابی اطلاعات به تفکیک نظامهای رتبه بندی نشده(شامل دقت، بازیافت، معیار اف ) و نظامهای رتبه بندی شده (شامل منحنی های دقت و بازیافت، دقت افزوده، میانگین دقت افزوده در نقطه 11، میانگین دقت متوسط، دقت در K ، دقتR و منحنی راک و افزایش تجمعی) تشریح شده و ضمن اشاره به مقیاسهای ارزیابی ربط، یک مقیاس ارزیابی دقت 4 درجه ای معرفی گردیده است که با استفاده از آن می توان به ارزیابی غیردودیی دقت در نظام بازیابی اطلاعات وب شامل دقت کامل، برتر، مفید، واقعی و در نهایت دقت متغیر پرداخت.