مدل سازی زبانی

تقطیع و برچسب دهی نحوی – معنایی داده های نوشتاری یکی از فعالیتهای اصلی در طراحی و ساخت هر دادگان زبانی برای استخراج مدل زبانی است . در این مقاله مشکلاتی که نگارند ه در انجام این فعالیت برای طرح امکان سنجی برای طرح مدل سازی زبان فارسی داشته ‘ توضیح داده شد ه‘همچنین برای حل مشکلات از معیارهای زبان شناختی و مهندسی استفاده شده است . در نهایت برای استخراج مدل زبان فارسی یک بسته نرم افزاری نوشته شده ‘ که در چارچوب فرآیند مارکف صفر تا سه مرحله ای ‘ توزیع احتمال مشروط کلمات فارسی را در چهار حالت به طور مستقل ازو وابسته به مقوله نحوی معنایی به دست می دهد .

در این مقاله یک سامانه بازشناسی گفتار پیوسته برای زبان فارسی معرفی می شود و نقش مدل آوایی و مدل زبانی در آن مورد بررسی قرار می گیرد. مدل های آوایی با روش های مستقل از بافت و وابسته به بافت در این سامانه به کار رفته و نتایجِ به کارگیریِ آن ها ارائه شده است. مدل زبانیِ سه کلمه ای نیز با روش های مبتنی بر کلمه، مبتنی بر مقولة نحوی و مبتنی بر طبقه، با استفاده از پیکره متنیِ زبانِ فارسی استخراج و در سامانه بازشناسی به کار گرفته شده است. همچنین مدل زبانیِ دستوری مبتنی بر دستور ساخت- گروهیِ تعمیم یافته در این سامانه پیاده سازی شده و نیز در ترکیب با مدل زبانیِ آماری به کار رفته است. نتایج حاصل نشان می دهد که مدل آواییِ وابسته به بافت، مطابق انتظار، بهترین عملکرد را دارد. همچنین مدلِ زبانیِ سه کلمه ایِ مبتنی بر کلمه، نسبت به سایر روش های استخراجِ مدلِ زبانیِ آماری برتری دارد. درضمن ترکیبِ مدلِ زبانیِ دستوری با مدلِ زبانیِ آماری منجر به بهبودِ نتایجِ بازشناسی می شود. سامانه بازشناسیِ گفتارِ معرفی شده در این مقاله، اولین سامانه بازشناسی برای گفتارِ پیوستة فارسی بوده و با پشتوانه فعالیت های تحقیقاتیِ متعددی که برای پیاده سازیِ آن انجام شده است، قابلیت استفاده به صورت کاربردی را یافته است.