پردازش گفتار هیجانی

مقدمه: توجه دروازه یادگیری و یکی از منابع قابلِ پردازش است که مدل سازیِ شناختی آن به درک و استفاده بهتر از آن کمک می کند. هدف از این پژوهش ایجاد مدلی هوشمند با کارایی بسیار برای دسته بندی سطوح مختلف توجه بود. روش کار: ایجاد مدل شناختیِ توجه با استفاده از نتایج تکلیف شبکه توجه و امواج مغزی انجام گرفت. به این منظور، با استفاده از روش های مختلفِ یادگیریِ ماشین، به ایجاد مدلی از توجه پرداخته شد. در این پژوهش، جامعه آماری شامل 92 فرد بزرگسال داوطلب بود که به صورت تصادفی انتخاب شده و پرسشنامه DASS-21 را برای انتخاب اولیه انجام دادند. سپس بر اساس نتایج، از 31 نفر بیماری که افسردگی و اضطراب نداشتند و واجد شرایط بودند، برای مرحله نهایی دعوت به عمل آمد. در حین تکلیفِ شبکه توجه، با استفاده از سیستم واسط کاربری مغز ، از شرکت کنندگان سیگنال مغزی گرفته شد و مدلی از سطوح مختلف با استفاده از سیگنال های مختلف و زمان واکنش و درستی جواب شرکت کننده ایجاد گردید. یافته ها: داده ها با روش های دسته بندیِ یادگیریِ ماشین های مختلفی مانندِ ماشین بُردارهای پشتیبان ( SVM ) و K نزدیک ترین همسایگی ( KNN ) و آدابوست ( Adaboost ) بررسی شد و مدلی که کمترین خطای دسته بندی را داشت برگزیده شد. این دسته بندی ها، به ترتیب با نرخ دسته بندیِ 60 و100 و 94 درصد، در مورد دسته بندیِ الگوهای شناختیِ «توجه»، توانایی های مختلفی را برای این مجموعه از داده ها نشان داد. نتیجه گیری: بر اساس نتایج دقت دسته بندی ها، مدل مناسب انتخاب شد و دسته بندی KNN از نظر تعمیم پذیری و تخمین داده های آزمون دقت بهتری از بقیه مدل های انتخاب شده در این پژوهش را نشان داده است. برای این نوع از مدل های شناختی که در آن امکان جمع آوریِ حجم کمتری داده وجود دارد نیز مدل مناسب تلقی می شود.

مقدمه: گفتار مؤثرترین ابزاری است که انسان ها برای انتقال اطلاعات از آن استفاده می کنند. گوینده در خلال گفتار خویش علاوه بر واژگان و دستور زبان اطلاعاتی همچون سن، جنسیت و حالت هیجانی خود را منتقل می کند. پژوهش های فراوانی با رویکردهای گوناگون پیرامون هیجان در گفتار هیجانی انجام شده است. این پژوهش ها نشان می دهند که هیجان ضمن پیام در گفتار هیجانی از طبیعتی پویا برخودار می باشد. این پویایی، مطالعه کمّی هیجان در گفتار هیجانی را با دشواری همراه می سازد. این پژوهش به ارزیابی هیجان ضمن پیام از طریق پردازش گفتار هیجانی با استفاده از ویژگی های ضرایب کپسترال فرکانس مِل ( MFCC ) و تبدیل فوریه زمان کوتاه ( STFT ) پرداخت. روش کار: داده های ورودی، پایگاه داده استاندارد گفتار هیجانی Berlin شامل هفت حالت هیجانی خشم، کسلی، انزجار، ترس، شادی، غم و حالت خنثی می باشد. با استفاده از نرم افزار MATLAB ابتدا فایل های صوتی خوانده شدند. در مرحله بعد نخست ویژگی های MFCC و سپس ویژگی های STFT استخراج شدند. بردار های ویژگی برای هر کدام از ویژگی ها بر اساس هفت مقدار آماری کمینه، بیشینه، میانگین، انحراف معیار، میانه، چولگی و کشیدگی محاسبه شدند و به عنوان ورودی شبکه عصبی مصنوعی مورد استفاده قرار گرفتند. در انتها، بازشناسی حالت های هیجانی با استفاده از توابع آموزشی مبتنی بر الگوریتم های مختلف انجام شد. یافته ها: نتایج بدست آمده نشان داد میانگین و صحت بازشناسی حالت های هیجانی با استفاده از ویژگی های STFT نسبت به ویژگی های MFCC بهتر است. همچنین، حالت های هیجانی خشم و غم از نرخ بازشناسی بهتری برخوردار بودند. نتیجه گیری: ویژگی های STFT نسبت به ویژگی های MFCC هیجان ضمن پیام در گفتار هیجانی را بهتر بازنمایی می کنند.