سیستم پرسش و پاسخ تعاملی

همانند بسیاری از زمینه های زبان شناسی محاسباتی، ارزیابی نقش مهمی در سیستم های پرسش و پاسخ تعاملی ایفا می نماید. یکی از معیارهایی که در زمینه ارزیابی این سیستم ها دارای اهمیت می باشد میزان انسجام بین سوال ها و پاسخ های رد و بدل شده، بین کاربر و سیستم است. در این مقاله یک راه حل اتوماتیک برای تعیین میزان انسجام متن تولید شده، ارائه شده است. مدل پیشنهادی، یک مدل احتمالاتی است که در آن، برای استخراج ویژگی از میزان شباهت بین N -گرم های مختلف بر اساس چهار معیار تعریف شده، بهره گرفته شده است. سپس با استفاده از تخمین بهترین تابع چگالی از بین 18 تابع درنظر گرفته شده برای هر ویژگی، یک مدل برای تعیین میزان انسجام انتخاب گردیده است. نتایج پیاده سازی بر روی دو پایگاه داده تهیه شده از چند سیستم پرسش و پاسخ تعاملی، حاکی از انطباق بسیار بالای مدل احتمالاتی پیشنهادی و دقت مناسب آن در تعیین میزان انسجام، در متن مکالمه صورت گرفته، می باشد. برای تطبیق یا عدم تطبیق تابع چگالی احتمال بدست آمده از آزمون های سه گانه کولموگروف-اسمیرنف، اندرسون دارلینگ و کرامر وان میس استفاده گردید. با توجه به نتایج ارائه شده تابع چگالی احتمال ناکاگامی با داشتن کمترین اشتباه، بهترین عملکرد را در تعیین میزان انسجام هر مکالمه از خود نشان داد.

ارزیابی سیستم های پرسش و پاسخ تعاملی به منظور تعیین و ارتقای کارایی آن ها از اهمیت زیادی برخوردار است. با این وجود هنوز روش استاندارد و مخصوصی برای ارزیابی این سیستم ها ارائه نشده است. در ارزیابی یک سیستم پرسش و پاسخ تعاملی معیارهای زیادی تاثیرگذار می باشد. یکی از معیارها، قابلیت اطمینان است. تلاش های اندکی در راستای اندازه گیری اتوماتیک و تعیین دقیق معیارهای قابلیت اطمینان در سیستم پرسش و پاسخ تعاملی با بکارگیری مدل های گوناگون، صورت گرفته است. در این مقاله، یک روش جدید جهت اندازه گیری قابلیت اطمینان، با استفاده از ایجاد مجموعه معیارهای تاثیرگذار بر قابلیت اطمینان اعم از معیارهای کیفی و کمی به کمک رگرسیون ارائه شده است. در این روش ابتدا لیستی از ویژگی های کیفی و کمی تاثیرگذار جمع آوری و سپس با توجه به ضوابط تعیین شده 8 ویژگی کمی انتخاب شدند. سپس براساس پرسشنامه تهیه شده، ضرایب تاثیر سوالات تعیین و با ترکیب این ویژگی ها طبق رابطه پیشنهادی قابلیت اطمینان اندازه گیری شد. ارزیابی عملکرد مجموعه معیارهای انتخابی بر روی چهار سیستم پرسش و پاسخ تعاملی نشان داد که با به کارگیری این مجموعه معیارها، امکان اندازه گیری قابلیت اطمینان برای یک سیستم پرسش و پاسخ فراهم شده است.