استخراج خودکار

پیکره های موازی همواره از غنی ترین منابع در مباحث پردازش زبان طبیعی محسوب می شوند.  این نوع پیکره ها شامل متون ترجمه شده دو یا چند زبان هستند که در سطوح مختلف کلمه، عبارت و یا جمله هم ترازشده اند. علیرغم کاربرد فراوان این نوع پیکره ها در مطالعات مختلف از جمله پژوهش های زبانی، ترجمه ماشینی آماری و سامانه های خودکار بازیابی اطلاعات میان زبانی، متأسفانه همواره پژوهشگران با کمبود پیکره های موازی مواجه بوده اند. در این راستا، در پژوهش حاضر سعی شده است به منظور تولید پیکره موازی با بهره گیری از اطلاعات نحوی، روشی خودکار برای استخراج جملات هم ترازانگلیسی/فارسی از متون مقایسه ای ارائه شود. در این روش، با ساخت بردار ویژگی با بهره گیری از اطلاعات نحوی جملات، یک مدل هم ترازی آموزش داده می شود. دقت مدل هم ترازی،در بهترین حالت، به شکل عملیاتی روی داده های آزمون (208 عدد جفت جمله) 77% و روی داده های آموزشی (830 عدد جفت جمله) 7/97 % محاسبه شد. از آنجایی که حجم داده های طلایی بسیار کوچک بود روش n-fold cross validation در مورد تمام الگوریتم های آموزش مورد استفاده قرار گرفت. به منظور افزایش دقت، از یک الگوریتم جست وجوی شباهت لغوی جملات نیز استفاده شد که دقت را روی داده های آزمون از 77% به 18/85% افزایش داد. پژوهش حاضر، با به کارگیری مدل هم ترازی به دست آمده، به تولید ابزار هم ترازی دانشگاه اصفهان منجر شد، که می تواند به منظور خودکفایی در تولید پیکره های موازی مورداستفاده محققین حوزه پردازش زبان فارسی قرار گیرد.

امروزه شاهد گسترش استفاده از روش های پیکره بنیاد در زبان شناسی هستیم. پژوهش حاضر به بررسی تکنیک های بهبود عملکرد روش های بسامد شماری در زبان فارسی و با منظور دستیابی به رویه علمی جهت استخراج خودکار واژگان پایه علوم پزشکی انجام پذیرفته است.استفاده از روشهای آماری در کنار ابزار زبانشناسی پیکره ای ( روشهای استخراج خودکار ترکیبی )جهت استخراج خودکار واژگان در تعدادی از زبانهای دنیا همچون انگلیسی ،فرانسه،ژاپنی و کره ای طی چند دهه اخیر بسیار رایج بوده است ، حال آنکه در زبان فارسی این روشها تا کنون به صورت جدی مورد استفاده قرارگرفته نشده اند و اغلب استخراج ها در زبان فارسی به روش سنتی انجام گرفته اند. ضمن آنکه بکار گیری این روشها در هر زبانی متفاوت است و در هر زبان با توجه به ویژگیهای زبانشاختی آن زبان برون داد روشهای آماری متفاوت است. از این رو باید مطابق با ویژگیهای هر زبان در این روشها تغییراتی اعمال کرد تا در نهایت بتوان به روشی جهت استخراج خودکار واژگان دست یافت.جهت نیل به این هدف در زبان فارسی، از خانواده مدل های بسامد شماری با رویکردهای بسامد شماری پیکره عمومی، بسامد شماری پیکره اختصاصی و روش های بهبودیافته آن ها استفاده شده است. بسامدشماری به کار رفته در پژوهش، برپایه پردازش اطلاعات واژگان در دو پیکره اصلی و اختصاصی که محقق آنرا ایجاد کرده است و از این پس آنرا پیکره محقق ساخته می نامیم، صورت گرفته است . پیکره محقق ساخته شامل متون درس زیست شناسی دوره اول تا چهارم دبیرستان، متون درس علوم دوم و سوم راهنمایی، متون تدریس شده در مرکزآموزش زبان فارسی امام خمینی قزوین، مجلات و مقالات حوزه پزشکی عمومی و پیکره عمومی مورد استفاده ، پیکره روزنامه همشهری ( نسخه دوم) می باشد. نتایج بدست آمده نشان می دهد که قابلیت استفاده از روش های بسامد شماری پیکره بنیاد در زبان فارسی برای دست یافتن به شیوه ای واحد در استخراج خودکار واژگان وجود دارد.شیوه آتی که به یقین می تواند گامی موثر در تهیه و تدوین متون آموزشی زبان فارسی و گسترش آموزش این زبان به شمار آید. از عمده ترین مشکلات استفاد از روش های ساده، جداسازی واژگان پرتکرار همچون حروف ربط را می توان برشمرد. از این رو جهت بالابردن توان مدل با اعمال روش هایی می توان روش های اولیه را بهبود بخشید. مشاهده می شود که روش بسامدشماری بهبود یافته در پیکره اختصاصی از سایر روش ها عملکرد بهتری داشته و تا ۶۰ درصد واژگان تخصصی را در ۵۰ واژه پر بسامد شناسایی می نماید. از سوی دیگر مشاهده می گردد که با افزایش دامنه واژگان مورد بررسی در پژوهش از ۵۰ به ۱۰۰، ۱۵۰ و ۲۰۰ دقت مدل ها افزایش یافته و درصد واژگان تخصصی انتخاب شده به ثبات می رسد.