فربد رزازی

مقدمه: ردیف موسیقی سنتی ایران شامل هفت دستگاه با نام های شور، ماهور، سه گاه، چهارگاه، راست پنجگاه، همایون، نوا است که هر کدام عواطف خاصی را به شنونده انتقال می دهد. بسیاری از صاحب نظران عرصه موسیقی، ویژگی های عاطفی ادراک شده از هر دستگاه موسیقی سنتی ایرانی را بر اساس تجربه به صورت کیفی تشریح کرده اند. ولی نه تنها آنان، بلکه افراد عادی هم در خصوص نوع و اندازه عواطف حاصل از یک دستگاه موسیقی توافق ندارند. زیرا پیش زمینه عاطفی افراد متفاوت است. هدف از این مطالعه معرفی یک مدل شناختی است که قادر باشد ویژگی های عاطفی هر دستگاه موسیقی را برای شنونده مشخص به صورت کمی پیش بینی نماید. روش کار: در این مطالعه یک مدل بهینه یادگیری عاطفی مغز معرفی شد که با مدل روان شناختی Thayer ادغام گشت تا بر اساس ویژگی های خاص موسیقی دستگاهی ایرانی، الگوی عاطفی دستگاه ها را کشف نماید. ما از ردیف میرزا عبدلله به روایت داریوش طلایی استفاده کردیم و از 52 داوطلب خواستیم تا ارزش 12 احساس مدل عاطفی Thayer را برای هر قطعه تعیین کنند. یافته ها: برای بررسی عملکرد سیستم، میانگین مربعات خطای سیستم برای داوطلبان بر اساس دستگاه به دست آمد. همچنین با جمع بندی نتایج داوطلبان، یک ارزیابی کلی از ویژگی های عاطفی دستگاه های موسیقی ایرانی ارائه دادیم. نتیجه گیری: بررسی سیستم پیشنهادی ما را به این نتیجه می رساند که نوعی عدم قطعیت ناشی از پیش زمینه ادراکی افراد در عملکرد رفتاری و فیزیولوژیکی احساسات در مغز نهفته است.

مقدمه: بازشناسی هیجان چندوجهی به واسطه دریافت اطلاعات از منابع حسی (وجه های) مختلف از یک ویدیو دارای چالش های فراوانی است و به عنوان روش جدیدی برای تعامل طبیعی انسان با رایانه مورد توجه محققان زیادی قرار گرفته است. هدف از این پژوهش، بازشناسی هیجان به طور خودکار از روی گفتار هیجانی و حالات چهره، مبتنی بر ساز و کارهای عصبی مغز بود. بنابراین، با توجه به مطالعات صورت گرفته در زمینه مدل های الهام گرفته از مغز، یک چارچوب کلی برای بازشناسی هیجان دومدالیتی با الهام از عملکرد کورتکس شنوایی و بینایی و سیستم لیمبیک مغز ارائه شود. روش کار: مدل ترکیبی و سلسله مراتبی پیشنهادی از دو مرحله یادگیری تشکیل شده بود. مرحله اول: مدل های یادگیری عمیق برای بازنمایی ویژگی های بینایی و شنوایی و مرحله دوم: مدل ترکیبی یادگیری هیجانی مغز ( MoBEL ) بدست آمده از مرحله قبل برای همجوشی اطلاعات شنیداری _ دیداری. برای بازنمایی ویژگی های بینایی به منظور یادگیری ارتباط مکانی بین پیکسل ها و ارتباط زمانی بین فریم های ویدئو از مدل شبکه عصبی یادگیری عمیق 3D-CNN استفاده شد. همچنین به منظور بازنمایی ویژگی های شنوایی، ابتدا سیگنال گفتار به تصویر لگاریتم مل _ اسپکتروگرام تبدیل شده سپس به مدل یادگیری عمیق CNN برای استخراج ویژگی های مکانی _ زمانی داده شد. در نهایت، اطلاعات به دست آمده از دو جریان فوق به شبکه عصبی ترکیبی MoBEL داده شد تا با در نظر گرفتن همبستگی بین وجه های بینایی و شنوایی و همجوشی اطلاعات در سطح ویژگی، کارایی سیستم بازشناسی هیجان را بهبود بخشد. یافته ها: نرخ بازشناسی هیجان در ویدیو با استفاده از مدل ارائه شده بر روی پایگاه داده eNterface’05 به طور میانگین 82 درصد شد. نتیجه گیری: نتایج تجربی در پایگاه داده مذکور نشان می دهد که کارکرد روش پیشنهادی بهتر از روش های استخراج ویژگی های دستی و سایر مدل های همجوشی در بازشناسی هیجان است.