طبقه بندی متن

سازماندهی و بازیابی دانش منتشر شده در محیط وب بعنوان یکی از مهمترین کاربردهای متن کاوی مطرح شده است. از جمله چالش های سازماندهی مجموعه عظیمی از متون در قالب یک پیکره متنی، ابعاد زیاد ویژگی ها و خلوت بودن ماتریس ویژگی ها است. نحوه ی انتخاب ویژگی ها و نحوه ی کاهش ویژگی ها در این مسئله تاثیر بسزایی در بالاتر رفتن دقت سازماندهی و بازیابی متون دارد. در بسیاری از پژوهش ها به بررسی منفک این دو چالش پرداخته شده است. این پژوهش با رویکرد توجه همزمان به این دو چالش شرح یافته است. پس از تعیین متون مرتبط با 20 گروه خبری وبی و پس از فاز پیش پردازش متون با استفاده از الگوریتم الگو سازی عنوان [1] ال دی ای [2] ، کیسه ای (تجمیعی) از مفاهیم معنایی برای پیکره ی متنی مورد نظر ساخته شد. به منظور بررسی میزان تاثیر واژه های پیکره متون در هر مفهوم پنهان، به بررسی نحوه ی وزن دهی واژگان یک پیکره، در مفاهیم استخراج شده توسط الگوریتم ال دی ای پرداخته شد. از این رو، برای هر متن یک توزیع احتمال رخداد حول هر عنوان استخراج گردید که برای سازماندهی و بازیابی دانش موجود در آن مورد استفاده قرار گرفت. برای سازماندهی آن از الگوریتم نزدیکترین K همسایه با معیار شباهت واگرای کولبک لیبلر که میزان فاصله دو توزیع احتمال را می سنجد؛ استفاده شد. نتایج آزمون ها نشان داد که میزان صحت سازماندهی روش پیشنهادی در صورتی که از معیار وزن دهی واکشی اطلاعات متقابل نقطه ای و الگوریتم KL-KNN استفاده شده باشد 5/82% است. نتایج تحلیل ها نشان داد که این روش دارای دقت مشابهی با روش هایی است که از فنون یادگیری عمیق استفاده می نمایند. افزون بر این، روش بکارگرفته در این پژوهش نشان دهنده پیچیدگی کمتری در فرایند سازماندهی و بازیابی متون مورد مطالعه پژوهش بود. 4. Topic modeling 5. Latent Dirichlet Allocation

امروزه محققان با حجم وسیعی از داده مواجه اند که بخش زیادی از آنها ساختار پردازش پذیری ندارند. دو مورد از چالش های اصلی در این زمینه بالا بودن ابعاد فضای ویژگی و حجیم بودن داده های در دسترس است. به منظور رفع این چالش ها، مقاله پیش رو یک روش انتخاب ویژگی مبتنی بر ویژگی های هدف ارائه کرده است که در کاهش ابعاد فضای ویژگی تأثیر زیادی دارد و همچنین برای مقابله با حجم بسیار زیاد نمونه های آموزش، با استفاده از روش های انتخاب نمونه اولیه، به ویرایش مجموعه آموزش می پردازد. روش پیشنهادی در این مقاله در سه فاز اجرا شده است که هر فاز بهبودیافته فاز قبل است و علاوه بر دست یافتن به نتایج مناسب در هر فاز، در پایان فاز سوم روش پیشنهادی بیشترین کارایی را به دست آورد. برای ارزیابی کارایی روش پیشنهادی، این روش با یکی از الگوریتم های موفق در زمینه پیش بینی بازار مقایسه شد که با وجود کاهش نمونه های آموزش توسط الگوریتم های انتخاب نمونه اولیه، به نتایج بسیار بهتری نسبت به آن الگوریتم دست یافت.