احسان عسگریان

گسترش روزافزون داده های متنی فارسی در فضای اینترنت و پیچیدگی جستجو در میان انبوه این اسناد، خلاصه سازی خودکار متون فارسی را به یکی از زمینه های تحقیقاتی مورد توجه تبدیل کرده است. در این مقاله روشی کارا برای خلاصه سازی خودکار متون فارسی ارائه شده است. روش پیشنهادی که به صورت انتخابی و تک سندی است، خلاصه سازی را بر اساس رتبه بندی جملات و انتخاب مهم ترین آنها انجام می دهد. اهمیت هر جمله از متن با ترکیب خطی مقادیر هفت ویژگی زبان شناختی مستخرج از سند برای هر جمله بدست می آید. وزن بهینه هر ویژگی در این ترکیب از روش رگرسیون خطی و با استفاده از پیکره آموزشی پاسخ محاسبه شده است. پس از محاسبه اهمیت جملات متن، در هر مرحله از الگوریتم، یک جمله با اهمیت بیشتر تا رسیدن به نرخ فشرده سازی مورد نظر انتخاب می شود. این جمله علاوه بر اینکه دارای بیشترین اهمیت است، دارای کمترین میزان شباهت با جملات انتخاب شده در مراحل قبلی نیز است. نتایج بدست آمده از مقایسه الگوریتم پیشنهادی با دو سیستم خلاصه ساز ایجاز و فارسی سام با استفاده از پیکره پاسخ، نشان می دهد در بیشتر معیارهای ارزیابی پیشرفت قابل توجهی حاصل شده است.

هدف: پردازش زبان طبیعی، استفاده در فرهنگ نگاری، پیگیری تحولات زبانی و استخراج اطلاعات زبانی خاص از مهم ترین کاربردهای پیکره است. هدف از انجام این پژوهش معرفی و توصیف چگونگی ساخت پیکره مقاله های علمی پژوهشی است که نگارندگان پدید آورده اند. روش: برای ایجاد پیکره، نخست نرم افزار پیکره ساز طراحی و ساخته شد. این نرم افزار انواع فرمت از جمله doc،docx ،rtf ،txt  و pdf را پشتیبانی می کند. همچنین می توان پارامترهای ساخت پیکره را از قبل نیز برای آن تعیین کرد. برای مثال، مشخص کرد که حداقل تعداد توکن فایل برای حضور یک متن در پیکره چه عددی باشد. سپس مجموعه مقاله های علمی پژوهشی اعضای هیئت علمی دانشگاه فردوسی مشهد جمع آوری شد. مجموع مقاله های مشتمل بر 7.154.202 کلمه و 1100 عنوان است. کلّ پیکره در فایل های مجزا به جمله های تشکیل دهنده آن تجزیه شد. ریشه کلمات استخراج و برچسب نحوی کلمات زده شد. علاوه بر امکان استخراج اطلاعات به طور مستقیم، نرم افزار جانبی دیگری با کاربرد ساده تر  برای استخراج اطلاعات آماری نیز طراحی و به آن افزوه شد تا کاربران غیرتخصصی هم بتوانند از آن استفاده و اطلاعات را استخراج کنند. یافته: برای ارزیابی درستیِ  ابزارهای ریشه یاب و برچسب زنی مقوله های گفتار، از پیکره های استاندارد موجود مانند پیکره PerDT  (در سایت دادگان) که شامل تعداد قابل توجهی جمله برچسب خورده با اطلاعات نحوی و ساخت واژی است استفاده شد. همچنین با مطالعه موردی عبارات احتیاط آمیز (بخشی از طرح پژوهشی که به چاپ نرسیده است) یافته این پژوهش که ساخت پیکره مقاله های علمی پژوهشی است آزمایش و با دقت حدود96% تأیید شد. نتیجه: بر اساس نتایج  به دست آمده، پیکره ساخته شده قابلیت بسیار بالایی برای داده کاوی و استفاده در تمام پژوهش هایی که بر روی متون علمی انجام می شود را دارا است. با استفاده از این پیکره می توان توصیفی داده محور از نحوه کاربرد زبان توسط گروه های مختلف کاربران زبانی ارائه کرد. با بارگذاری این پیکره در سایت کتابخانه مرکزی دانشگاه فردوسی مشهد، امکان کاربری عام آن به زودی فراهم خواهد شد.