همانند بسیاری از زمینه های زبان شناسی محاسباتی، ارزیابی نقش مهمی در سیستم های پرسش و پاسخ تعاملی ایفا می نماید. یکی از معیارهایی که در زمینه ارزیابی این سیستم ها دارای اهمیت می باشد میزان انسجام بین سوال ها و پاسخ های رد و بدل شده، بین کاربر و سیستم است. در این مقاله یک راه حل اتوماتیک برای تعیین میزان انسجام متن تولید شده، ارائه شده است. مدل پیشنهادی، یک مدل احتمالاتی است که در آن، برای استخراج ویژگی از میزان شباهت بین N -گرم های مختلف بر اساس چهار معیار تعریف شده، بهره گرفته شده است. سپس با استفاده از تخمین بهترین تابع چگالی از بین 18 تابع درنظر گرفته شده برای هر ویژگی، یک مدل برای تعیین میزان انسجام انتخاب گردیده است. نتایج پیاده سازی بر روی دو پایگاه داده تهیه شده از چند سیستم پرسش و پاسخ تعاملی، حاکی از انطباق بسیار بالای مدل احتمالاتی پیشنهادی و دقت مناسب آن در تعیین میزان انسجام، در متن مکالمه صورت گرفته، می باشد. برای تطبیق یا عدم تطبیق تابع چگالی احتمال بدست آمده از آزمون های سه گانه کولموگروف-اسمیرنف، اندرسون دارلینگ و کرامر وان میس استفاده گردید. با توجه به نتایج ارائه شده تابع چگالی احتمال ناکاگامی با داشتن کمترین اشتباه، بهترین عملکرد را در تعیین میزان انسجام هر مکالمه از خود نشان داد.
