فاجیک: مدل شبکه عصبی ژرف کد گذار-کدگشای و منابع زبانی مرتبط برای نویسه گردانی میان تاجیکی و فارسی (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
زبان تاجیکی، یا به شکل درست تر گویش تاجیکی زبان فارسی، از گونه های زنده زبان فارسی است که در کشور تاجیکستان رواج دارد. مهم ترین تفاوت فارسی رایج در ایران با فارسی تاجیکی در سیستم نوشتار است که این تفاوت سبب ایجاد گسست فرهنگی میان دو ملتی که گفتار هم را متوجه می شوند، شده است. ساخت سامانه ای برای تبدیل این دو نوشتار می تواند به نزدیکتر کردن این دو ملت کمک شایان ذکری کند. در گذشته تلاش هایی برای ساخت نویسه گردان رایانشی بین این دو گونه نوشتار صورت گرفته است. این سامانه ها با استفاده از روش های سنتی و قانون محور این کار را انجام می دادند و برای همین خطاهای قابل توجهی در خروجی خود دارند. در این پژوهش تلاش شده است که با کمک روش های یادگیری ژرف این نویسه گردانی انجام شود. در دهه گذشته این روش ها تحول عظیمی در زبانشناسی رایانشی ایجاد کرده اند. در این پژوهش ابتدا پیکره موازی میان فارسی و تاجیکی جمع آوری شده است. سپس با کمک مدل های رشته به رشته یک سامانه نویسه گردانی با عملکرد بهتر نسبت به سامانه های گذشته ایجاد شده است.Fajik: A Neural Encoder-Decoder Model along with Required Language Resources for an Accurate Tajiki-Persian Transliteration
The Tajik language, also known as Tajiki Persian, is a variation of Persian (Farsi) spoken in Tajikistan. One of the main distinctions between Iranian Persian and Tajiki Persian is the writing script. Since the early 1900s, Tajiki has been written in the Cyrillic script. Although the difference between spoken Tajiki and spoken Persian is not significant, the script difference caused a culturalbreak between these two nations making many cultural resources (e.g., poems, stories, etc.) unavailable for the newer generations. An automatic and accurate transliterator model can again fill the gap between Persians and Tajiks and facilitate transfer learning between these two language variations. The efforts on Persian-Tajiki transliteration have primarily been rule-based and context-independent, causing many errors. Deep learning methods, particularly neural language models, revolutionized computational linguistics in the last decade by providing language understanding through contextualized representations. In this work, we create a Persian-Tajiki transliteration dataset for training and evaluation purposes. We also train an accurate neural sequence-to-sequence model transliterating between Tajiki-Persian and Persian-Tajiki.
تبلیغات
