مطالب مرتبط با کلیدواژه

مدل کدگذار-کدگشا


۱.

تبدیل متن محاوره ای به رسمی فارسی با استفاده از شبکه های عصبی مبتنی بر مبدل(مقاله علمی وزارت علوم)

کلیدواژه‌ها: پردازش زبان طبیعی تبدیل محاوره ای به رسمی مدل کدگذار-کدگشا مدل مبدل

حوزه های تخصصی:
تعداد بازدید : ۳۱۸ تعداد دانلود : ۸۹
در دنیای امروز شاهد رشد تولید داده های مختلف از جمله داده های متنی هستیم و همواره حجم زیادی از داده های متنی به روش های مختلف به خصوص در شبکه های اجتماعی تولید می شود. ولی این متن ها غالباً غیررسمی و دارای خطاهای بسیاری هستند که باعث می شود امکان استفاده از آن ها در بسیاری از پردازش های زبان طبیعی وجود نداشته باشد. در این مقاله به تبدیل متن محاوره ای به متن رسمی در زبان فارسی پرداخته شده است. برای این منظور دو مدل مختلف براساس مدل کدگذار-کدگشا و مدل مبدل که از به روزترین مدل های دنباله-به-دنباله هستند پیاده سازی شده اند. در کنار استفاده از مدل های شبکه عصبی، مجموعه ای از قواعد در تبدیل متن محاوره ای به رسمی فراهم شده اند و تأثیر استفاده از این قواعد در کنار هر یک از دو مدل بررسی شده است. در انتها نتایج مدل های گفته شده مقایسه شده اند که در بهترین حالت این نتایج به دست آمده به دقت ۷۰.۷ درصد در معیار بلوی ارتقاء یافته رسیده اند.
۲.

فاجیک: مدل شبکه عصبی ژرف کد گذار-کدگشای و منابع زبانی مرتبط برای نویسه گردانی میان تاجیکی و فارسی(مقاله علمی وزارت علوم)

کلیدواژه‌ها: یادگیری ژرف مدل کدگذار-کدگشا نویسه گردانی فارسی تاجیکی

حوزه های تخصصی:
تعداد بازدید : ۹۹ تعداد دانلود : ۸۲
زبان تاجیکی، یا به شکل درست تر گویش تاجیکی زبان فارسی، از گونه های زنده زبان فارسی است که در کشور تاجیکستان رواج دارد. مهم ترین تفاوت فارسی رایج در ایران با فارسی تاجیکی در سیستم نوشتار است که این تفاوت سبب ایجاد گسست فرهنگی میان دو ملتی که گفتار هم را متوجه می شوند، شده است. ساخت سامانه ای برای تبدیل این دو نوشتار می تواند به نزدیکتر کردن این دو ملت کمک شایان ذکری کند. در گذشته تلاش هایی برای ساخت نویسه گردان رایانشی بین این دو گونه نوشتار صورت گرفته است. این سامانه ها با استفاده از روش های سنتی و قانون محور این کار را انجام می دادند و برای همین خطاهای قابل توجهی در خروجی خود دارند. در این پژوهش تلاش شده است که با کمک روش های یادگیری ژرف این نویسه گردانی انجام شود. در دهه گذشته این روش ها تحول عظیمی در زبانشناسی رایانشی ایجاد کرده اند. در این پژوهش ابتدا پیکره موازی میان فارسی و تاجیکی جمع آوری شده است. سپس با کمک مدل های رشته به رشته یک سامانه نویسه گردانی با عملکرد بهتر نسبت به سامانه های گذشته ایجاد شده است.