الهام علایی ابوذر

پیکره ها براساس زبان به کاررفته در متن های تشکیل دهنده آن ها به پیکره های تک زبانه، دوزبانه و چندزبانه گروه بندی می شوند. پیکره مقایسه ای، پیکره ای است دوزبانه یا چندزبانه که شامل متن هایی است مشابه در حوزه های موضوعی یکسان. با وجود کاربرد فراوان این نوع پیکره ها در پژوهش های گوناگون همچون پژوهش های زبانی، ترجمه ماشینی و سامانه های خودکار بازیابی اطلاعات بینازبانی، پژوهشگران همواره با کمبود پیکره های مقایسه ای مواجه بوده اند. در این مقاله، به معرفی مراحل ساخت یک پیکره مقایسه ای تخصصی به نام «پارسا» پرداخته شده است. این پیکره از چکیده های فارسی و انگلیسی پایان نامه ها و رساله های ثبت شده در پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک) ساخته شده است و شامل بیش از 89 میلیون واژه فارسی و 79 میلیون واژه انگلیسی است. محتوای این پیکره عمومی نیست و مشتمل بر متن های بسیار تخصصی در حوزه های موضوعی کلان مانند علوم اجتماعی، علوم انسانی و هنر، فنی ومهندسی و رشته های مربوط به این حوزه ها است و ازاین جنبه، برای پردازش های زبانی که نیازمند بهره گرفتن از متن های تخصصی است، بسیار ارزشمند است. برای ساخت این پیکره، پس از نمونه گیری، داده های فارسی وارد فرایند پیش پردازش (هنجارسازی و واحدسازی) شدند. برای ارزیابی این مرحله دقت (P)، فراخوان (R) و F1 سنجیده شد. دقت، 5614035088. 0، فراخوان،   0531561462. 0 و در پایان، F1 09711684370257966. 0 محاسبه شده است. سپس، داده ها برچسب گذاری شدند (برچسب گذاری اجزای کلام) و برچسب های متون فارسی کنترل شدند. داده های انگلیسی نیز به صورت ماشینی برچسب گذاری شدند. شمار واژه های محتوایی (فعل، اسم، صفت، قید) داده های فارسی این پیکره 57653813 و شمار واژه های دستوری به همراه اعداد و علائم سجاوندی 31350125  است و بن واژه های فارسی استخراج شده نیز شامل 41064 بن واژه است. شمار واژه های محتوایی متون انگلیسی 45606686 و شمار واژه های دستوری به همراه اعداد و علائم سجاوندی شامل 33662304 و بن واژه های انگلیسی استخراج شده نیز شامل 12937 بن واژه است. پیکره ساخته شده قابلیت بسیار بالایی برای داده کاوی، پژوهش های مربوط به ترجمه ماشینی و به کارگیری در تمام پژوهش هایی که بر روی متون علمی انجام می شود را دارا است.

یکی از مقوله هایی که در چارچوب زبان شناسی پیکره ای مورد بررسی قرار گرفته، فعل مرکب است. افعال مرکب از دو بخش «جزء غیرفعلی» و «فعل سبک» تشکیل شده اند. در این پژوهش فراوانی افعال سبک از دو پیکره تخصصی «پیکره پژوهش نامه» و «پکا» (پیکره کتاب های ایرانداک) استخراج شده است و فراوانی سه فعل سبک اول در این دو پیکره با فراوانی افعال سبک در یک پیکره عمومی، یعنی «پیکره متنی فارسی» مقایسه شده است. در این دو پیکره تخصصی، که در مجموع نزدیک به هشت میلیون واژه در این پیکره ها موجود است، از میان افعال سبک «زدن»، «داشتن»، «کردن»، «سپردن»، «گرفتن»، «آمدن»، «دادن»، «افتادن»، «خوردن»، «کشیدن»، «آوردن»، «نمودن»، «رفتن»، «بردن» و «انداختن»، دو فعل سبک «کردن» با فراوانی 5848 و فعل «دادن» با فراوانی 5037، در رتبه اول و دوم از نظر فراوانی قرار دارند؛ فروانی این دو فعل سبک در پیکره عمومی نیز بالا است و در رتبه های نخست قرار دارند. فعل سبک «گرفتن» با فراوانی 3246 در پیکره های تخصصی در رتبه سوم قرار دارد. حال آنکه در پیکره عمومی، فعل سبک «گرفتن» ، از نظر فراوانی بعد از افعال سبک «کردن»، «دادن»، «داشتن» و «نمودن» قرار دارد. پس از استخراج فراوانی افعال سبک و بررسی آن ها، افعال مرکبی که با این سه فعل سبک (کردن، دادن و گرفتن) ساخته می شوند از نظر احتمال فاصله میان جزء غیرفعلی و فعل سبک در بافت تعریف شده (پنج نگاشت قبل و پنج نگاشت بعد از فعل سبک موردنظر) نیز مورد بررسی کلی قرار گرفتند. بررسی رفتار افعال مرکب پربسامد در پیکره های تخصصی نشان داد نویسندگان متون تخصصی، عمدتاً پژوهشگران، دانشجویان و استادان، کمتر تمایل دارند بین جزء غیرفعلی و فعل سبک فاصله بیاندازند و بنابراین، در بیشتر افعال مرکب جزء غیرفعلی و فعل سبک در کنار هم قرار می گیرند و مقوله و گروه نحوی میان آن ها قرار نمی گیرد. در حالیکه در متون عمومی احتمال اینکه نویسندگان گروه/ گروه های نحوی و مقولات گوناگون میان جزء غیرفعلی و فعلی قرار دهند بیشتر از متون تخصصی است.

ابهام، یکی از چالش های بزرگ در پردازش زبان طبیعی است؛ در پردازش رایانه ای متون، هم نگاره ها و چگونگی رفع ابهام از آن ها از اهمیت بالایی برخوردار است. در زبان های ی مانن د زب ان فارس ی که س اخت واژه پیچی ده ای دارن د، هم نگاره ه ای بس یاری س اخته می ش وند. در این راستا شناخت هم نگاره ها و دسته بندی انواع آن ها بسیار مهم است. در پژوهش حاضر به منظور بررسی پیکره-بنیاد هم نگاره های فارسی، واژه هایی که بیش از یک برچسب اجزای واژگانی کلام داشتند، از پیکره متنی فارسی استخراج شدند که شامل 10978 واژه است. سپس، فراوانی برچسب های هر هم نگاره مورد بررسی قرار گرفت و فهرست دیگری استخراج شد که شامل هم نگاره هایی است که علاوه بر فراوانی بالای برچسب اول آن ها (بیش از 20) فراوانی برچسب دوم آن ها نیز در پیکره متنی فارسی بیش از 10 بوده است؛ این فهرست شامل 1675 هم نگاره است. ماهیت ساخت واژی، آوایی یا معنایی هم نگاره های استخراج شده در این مرحله مورد بررسی قرار گرفت و بر اساس آن هم نگاره های استخراج شده در یازده دسته طبقه بندی شدند که از میان آن ها، تنها هم نگاره های موجود در یک دسته بر اساس معیار معنایی طبقه بندی شده اند و بقیه بر اساس ویژگی های ساخت واژی و تفاوت ها آوایی آن ها در دسته های گوناگون قرار گرفته اند. نتایج این پژوهش شامل فهرست گسترده ای از هم نگاره های فارسی استخراج شده از پیکره متنی فارسی است که هر کدام بر اساس معیارهای ساخت واژی و آوایی در یک یا بیش از یک دسته از مجموع یازده دسته قرار گرفته اند، این فهرست و دسته بندی مربوط به هم نگاره ها می تواند در سیستم های رفع ابهام معنایی از واژگان مورد استفاده قرار گیرد.

اصطلاح نامه دوزبانه فارسی- انگلیسیِ زبان شناسی تاکنون تدوین نشده است. اصطلاح نامه زبان شناسی در سازماندهی و نمایه سازی اطلاعات مدارک علمی، استاندارد سازیِ واژگان، جستجو و بازیابی اطلاعات در پایگاه های اطلاعات زبان شناسی و پژوهش های مرتبط با زبان شناسی و زبان شناسیِ رایانشی کاربرد دارد. مهم ترین چالش در تولید و تدوین اصطلاح نامه زبان شناسیِ دوزبانه فارسی- انگلیسی، طراحی نقشه مفهومیِ علمِ زبان شناسی است. یافتن معادل های مناسب در زبان فارسی برای اصطلاحات انگلیسی و نیز وجود دیدگاه ها و مکاتب گوناگون در حوزه این علم از دشواری های این پژوهش است. حضور متخصصان زبان شناس فارسی زبان در گرایش های مختلف زبان شناسی و وجود منابع متعدد انگلیسی و فارسی در حوزه علم زبان شناسی، همچنین برخورداری از دانش و تجربه طراحی نقشه های مفهومی و تدوین اصطلاح نامه برمبنای آن در پژوهشگاه ایرانداک، فرصت مغتنمی بود تا نقشه مفهومیِ علمِ زبان شناسی در سطحی عمومی طراحی و تدوین شود. این نقشه با استفاده از اصطلاحات انگلیسی و فارسیِ تخصصی در حوزه زبان شناسی و با توجه به تقسیم بندی های علم زبان شناسی طراحی شد تا در پروژه ای دیگر برمبنای آن، اصطلاح نامه زبان شناسی دوزبانه فارسی- انگلیسی تدوین شود.

این پژوهش تلاش دارد با جمع آوری اطلاعات مربوط به شاخص ها و مراحل ساخت پیکره زبانی، به پژوهشگران در زمینه ساخت انواع پیکره های زبانی کمک کند. در این راستا، در این مقاله، پس از بررسی نظرات پژوهشگرانی که اقدام به ساخت پیکره هایی در زبان های مختلف کرده اند، به شاخص های کلی ساخت پیکره های زبانی پرداخته می شود. این شاخص ها مربوط به ساخت گونه های متنی و گفتاری پیکره است که نمونه گیری، نمایندگی، توازن، اندازه، نوع پیکره و  یک دستی را شامل می شوند. سپس، فرآیند ساخت پیکره متنی ارائه می شود که انتخاب متون، پیش پردازش متون و حاشیه نویسی را در بر می گیرد و در این راستا به تفصیل درباره هر یک از مراحل توضیح داده می شود. در پایان، فرآیند ساخت پیکره گفتاری بیان می شود که جمع آوری داده ها، آوانویسی، نمایش و حاشیه نویسی و دسترسی را در بر می گیرد. درباره هر یک از مراحل مذکور نیز به تفصیل توضیح داده می شود.

پژوهش حاضر به معرفی رویکردی ماشینی برای چگونگی رفع ابهام معنایی از کلمات می پردازد. در زبان فارسی، که ساخت واژه پیچیده ای دارد، هم نگاره های بسیاری ساخته می شوند که معانی گوناگونی در بافت های گوناگون دارند. یکی از راه هایی که کمک می کند رفع ابهام از معنای کلمات مبهم (هم نگاره ها) با سهولت و دقت بیشتری انجام شود، تخصیص برچسب درست نحوی به کلمات است. بنابراین، اگر برچسب دهی نحوی قبل از مرحله رفع ابهام معنایی از کلمات صورت پذیرد، رفع ابهام معنایی از هم نگاره ها با دقت بیشتری انجام خواهد گرفت. از آنجا که فراوانی هم نگاره های اسمی و صفتی در متون فارسی، در مقایسه با سایر هم نگاره ها بالاست، پس از تخصیص برچسب نحوی به کلمات لازم است رفع ابهام از برچسب نحوی هم نگاره ها نیز صورت گیرد. در این مقاله ابتدا روش های ماشینی موجود در جهت رفع ابهام از معنای کلمات معرفی می شود و سپس، الگوریتم «لسک» (که یکی از روش های یادگیری ماشینی بدون نظارت/ بدون سرپرست برای رفع ابهام معنایی از کلمات مبهم موجود در متون گوناگون است) معرفی می شود و در نهایت، رویکردی ماشینی جهت رفع ابهام از معنای کلمات با استفاده از نتیجه مرحله برچسب زنی نحوی به کلمات و رفع ابهام از برچسب نحوی کلمات و الگوریتم «لسک» معرفی می شود. انجام برچسب دهی نحوی و رفع ابهام از برچسب نحوی هم نگاره ها باعث می شود که الگوریتم «لسک» تنها، معانی مرتبط با برچسب های نحوی را در رفع ابهام معنایی از کلمات در نظر گیرد و در نتیجه، عمل رفع ابهام از معنای کلمات با دقت و سهولت بیشتری انجام پذیرد.

در تهیه سامانه های برچسب گذاری اجزای کلام در زبان فارسی، بررسی ساخت واژی اسم ها و صفت ها از دو نظر حائز اهمیت است: 1- اگر کلمه ای قبلاً در پیکره آموزشی ظاهر نشده باشد، نمی توان از پیکره آموزشی اطلاعات دقیقی راجع به آن کلمه به دست آورد . بنابراین، اگر در یک پیکره متنی فارسی، کلمه ای در واژگان حضور نداشته باشد (کلمه خارج از واژگان)، نمی توان برچسب های مربوط به کلمه را بازیابی کرد. در این صورت، برچسب کلمه را تنها می توان با توجه به شکل کلمه (انواع پیشوندها و پسوندهایی که به کلمات متصل می شوند) یا بافتی که کلمه در آن ظاهر می شود، یا هر دو، حدس زد. 2- زبان فارسی ظرفیت بالایی برای ساخت هم نگاره های جدید که از ساخت واژه فارسی نشأت می گیرند، را نیز دارد بنابراین، بررسی ساخت واژی اسم ها و صفت ها، به منظور تفکیک آن ها از هم ضروری به نظر می رسد، زیرا اکثر صفت ها در بافت های گوناگون، با صورت نوشتاری یکسان، می توانند برچسب «اسم» بگیرند. در تحقیق حاضرساخت واژه اسم ها و صفت ها در فارسی بررسی شده است. نظام نوشتاری زبان فارسی نیز مورد بررسی قرار گرفته است تا از این رهگذر بتوان به شناسایی انواع هم نگاره ها در زبان فارسی پرداخت. سپس، انواع هم نگاره ها در زبان فارسی مورد مطالعه قرار گرفته است و در نهایت از طریق جستجو به دو روش ماشینی و دستی، فهرست مبسوطی از هم نگاره ها از پیکره های "پیکره متنی زبان فارسی"، "پایگاه دادگان زبان فارسی" و "پیکره وابستگی نحوی زبان فارسی" تهیه شده است. بررسی کلی هم نگاره ها در پیکره های مورد مطالعه نشان می دهد که بیشتر هم نگاره ها، فراوانی بالایی در پیکره های متنی فارسی دارند و اکثر آن ها در اثر یکسان بودن نمود نوشتاری تکواژ یاء نکره، یاء اسم ساز، شناسه دوم شخص مفرد، یاء صفت ساز و یاء متصل به گروه اسمی، ایجاد شده اند.

در نظام های نوشتاری، رابطه یک- به -یک میان واج ها و نگاره ها همواره برقرار نیست. از آنجایی که در نظام نوشتاری فارسی واکه های کوتاه اغلب فاقد صورت نوشتاری هستند، تعداد حالت های ممکن خواندن کلمات خارج از واژگان افزایش می یابد و به این ترتیب عمق خط فارسی زیاد در نظر گرفته می شود. اما علیرغم وجود چنین ویژگی هایی در خط فارسی، فارسی زبانان هنگام خواندن کلمات فارسی موجود در واژگان ذهنی خود و کلماتی که برای اولین بار با آن ها در متون گوناگون مواجه می شوند، قادرند رشته حروف را تبدیل به واج کنند. این پژوهش نشان می دهد فارسی زبانان با استفاده از روشی ساختاری-احتمالاتی، هنگام خواندن، رشته حروف را به رشته واج ها تبدیل می کنند. منظور از بخش ساختاری روش، استفاده فارسی زبانان از اطلاعات زبانی از قبیل: ساختواژه فارسی، قواعد واژ واجی فارسی و آشنایی با صورت نوشتاری و تلفظ کلماتی است که با الگوهای ساختواژی عربی مطابقت دارند. منظور از بخش احتمالاتی، در نظر گرفتن احتمال وقوع واکه های کوتاه با توجه به بافت نوشتاری است که این واقعیت می تواند فارغ از اطلاعات زبانی فارسی زبانان صورت پذیرد. در تحقیق حاضر مدلی ساختاری-احتمالاتی معرفی و عملکرد آن با نرم افزارهای تبدیل حرف به واج فارسی مقایسه شده است. به طور کلی این نتیجه به دست آمد که عملکرد مدل ساختاری-احتمالاتی پژوهش برای ارائه برونداد واجی کلمات خارج از واژگان، در مقایسه با نرم افزارهای تبدیل حرف به واج فارسی بهتر و به تلفظ فارسی زبانان نزدیک تر است.