مطالعه ای بر ارزیابی تأثیر رویکرد تشخیص فعالیت صدا (VAD) بر تشخیص عواطف گفتاری کودکان اوتیستیک (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
زمینه و هدف: طیف اوتیسم، اختلالی نورولوژیک است که خودش را در سال های اولیه رشد کودک نمایان می کند. افراد مبتلا به اوتیسم با چالش هایی در زمینه تنظیم احساسات مواجه هستند و حالات عاطفی خود را به روش های مختلف بیان می کنند. پژوهش فعلی یک سیستم تشخیص فعالیت صوتی (VAD) را ارائه می کند که با صداهای کودکان اوتیستیک سازگار شده است. روش پژوهش: سیستم VAD ارائه شده یک شبکه عصبی بازگشتی (RNN) با سلول های حافظه کوتاه مدت (LSTM) است. داده ها شامل 25 کودک اوتیستیک انگلیسی زبان است که یک فعالیت آموزشی ساختار یافته را انجام می دهند.یافته ها: آزمایش های ما نشان می دهد که سیستم VAD کودک عملکرد کمتری نسبت به سیستم VAD عمومی ما دارد که تحت شرایط یکسان آموزش داده شده است، زیرا منحنی مشخصه عملکرد سیستم (ROC) را تحت معیارهای منحنی (ROC-AUC) به ترتیب 0.662 و 0.850 به دست می آوریم. نتایج SER عملکردهای متفاوتی را در بین ظرفیت و برانگیختگی، بسته به سیستم VAD مورد استفاده با حداکثر ضریب همبستگی تطابق (CCC) 0.263 و حداقل ریشه میانگین مربعات خطا 0.107 نشان می دهد. نتیجه گیری: اگرچه عملکرد مدل های SER به طور کلی پایین است، سیستم VAD کودک می تواند به نتایج کمی بهبود یافته در مقایسه با سایر سیستم های VAD و به ویژه تراز مبنا بدون VAD (VAD-less baseline) منجر شود، که از اهمیت فرضی سیستم های VAD کودک در زمینه مورد بحث حمایت می کند.متن
A study on evaluating the effect of voice activity detection (VAD) approach on speech emotion recognition of autistic children
Background and Aim: Autism spectrum is a neurological disorder that manifests itself in the early years of a child's development. People with autism face challenges in regulating emotions and express their emotional states in different ways. The current research presents a vocal activity detection (VAD) system adapted to the voices of autistic children. Methods: The proposed VAD system is a Recurrent Neural Network (RNN) with short-term memory (LSTM) cells. The data includes ۲۵ English-speaking autistic children performing a structured learning activity and was collected as part of the DE-ENIGMA project.Results: Our experiments show that the pediatric VAD system performs less well than our generic VAD system trained under the same conditions, as we obtain system performance characteristic curve under the curve (ROC-AUC) criteria of ۰.۶۶۲ and ۰.۸۵۰, respectively. The SER results show different performances between capacity and excitation, depending on the VAD system used, with a maximum match correlation coefficient (CCC) of ۰.۲۶۳ and a minimum root mean square error (RMSE) of ۰.۱۰۷.Conclusion: Although the performance of SER models is generally low, the pediatric VAD system can lead to slightly improved results compared to other VAD systems and especially the VAD-less baseline, which supports the hypothesized importance of pediatric VAD systems in the context under discussion.
تبلیغات
