بررسی و تطبیق قدرت تخمین مدل های یادگیری ماشین و مدل های آماری در پیش بینی جهت تغییرات اجزای سود و انتخاب مدل بهینه (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
هدف: هدف از پیش بینی تغییرات سود، آگاهی دادن به سرمایه گذاران، تحلیلگران مالی، مدیران، مسئولان بازار سهام، اعتباردهندگان و سایر استفاده کنندگان، به منظور قضاوت کردن واحد تجاری، تصمیم گیری برای خرید یا فروش سهام و اعطا یاعدم اعطای وام و اعتبارات است. این پژوهش با هدف ارزیابی عملکرد و مقایسه دقت پیش بینی مدل های یادگیری ماشین و مدل های آماری، برای پیش بینی جهت تغییرات سه مؤلفه سود، از جمله سود (زیان) خالص، سود (زیان) ناخالص و سود (زیان) عملیاتی اجرا شده است.روش: در این پژوهش با استفاده از اطلاعات مالی ۱۳۹ شرکت تولیدی پذیرفته شده در بورس اوراق بهادار تهران، در دوره زمانی ۱۵ ساله، طی سال های ۱۳۸۷ تا ۱۴۰۱ و با به کارگیری ۲۵ مدل یادگیری ماشین و ۱۰ مدل آماری، به بررسی مقایسه کارایی مدل های یادگیری ماشین و مدل های آماری برای پیش بینی جهت تغییرات اجزای سود از جمله سود (زیان) خالص، سود (زیان) ناخالص و سود (زیان) عملیاتی پرداخته شده است. در پژوهش حاضر از نرم افزار اکسل برای مرتب سازی داده ها، نرم افزار ایویوز برای استخراج آمار توصیفی و از نرم افزارهای داده کاوی اس پی اس اس مدلر و رپیدماینر برای مدل سازی پیش بینی جهت تغییرات سود استفاده شده است. ارزیابی عملکرد مدل های یادگیری ماشین، از طریق دو معیار دقت پیش بینی مدل (accuracy) و ناحیه زیر منحنی (AUC) و ارزیابی عملکرد مدل های آماری تنها با معیار دقت پیش بینی مدل انجام شده است. در نهایت، به منظور انتخاب مدلی که بهترین عملکرد را برای پیش بینی جهت تغییرات سود (زیان) خالص، سود (زیان) ناخالص و سود (زیان) عملیاتی دارد، از میان مدل های یادگیری ماشین، به انتخاب مدل بهینه با استفاده از منحنی راک پرداخته شده است.یافته ها: پس از محاسبه متوسط دقت پیش بینی مدل های یادگیری ماشین و مدل های آماری، مشخص شد که متوسط دقت پیش بینی مدل های یادگیری ماشین برای متغیرهای وابسته (درصد تغییرات سود (زیان) خالص، درصد تغییرات سود (زیان) ناخالص و درصد تغییرات سود (زیان) عملیاتی)، از ۸۳ درصد تا ۹۳ درصد و متوسط دقت پیش بینی مدل های آماری برای هر سه مؤلفه سود، از ۷۶ درصد تا ۸۳ درصد متغیر است. پس از احراز نرمال نبودن متوسط دقت مدل های یادگیری ماشین و مدل های آماری برای اجزای سود توسط آزمون کلموگروف اسمیرنف، از آزمون ناپارامتریک یومن ویتنی برای مقایسه دقت پیش بینی مدل های یادگیری ماشین و مدل های آماری برای پیش بینی جهت تغییرات اجزای سود استفاده شد.نتیجه گیری: نتایج آزمون فرضیه های پژوهش، بیانگر کارایی بالای مدل های یادگیری ماشین برای پیش بینی جهت تغییرات سود (زیان) خالص، سود (زیان) ناخالص و سود (زیان) عملیاتی نسبت به مدل های آماری است. نتایج منحنی راک نیز نشانگر آن است که مدل درخت تصمیم با دقت پیش بینی معادل ۱۰۰ درصد، برای پیش بینی جهت تغییرات سود (زیان) خالص و دقت پیش بینی معادل ۳۸/۹۹ درصد برای پیش بینی جهت تغییرات سود (زیان) ناخالص و مدل استنتاج قوانین با دقت پیش بینی معادل ۷۶/۸۶ درصد در پیش بینی جهت تغییرات سود (زیان) عملیاتی، بهترین عملکرد را داشتند و به عنوان مدل بهینه انتخاب شدند.Comparing the Estimation Power of Machine Learning Models and Statistical Models in Predicting Profit Component Changes and Selecting the Optimal Model
ObjectiveThe aim of predicting profit changes is to create awareness for investors, financial analysts, managers, stock market officials, creditors, and other users to judge the business unit, make decisions about buying or selling stocks, or granting or denying loans and credits. The goal of this research is to evaluate the performance and compare the accuracy of machine learning models and statistical models in predicting the direction of changes in three profit components including net profit (loss), gross profit (loss), and operating profit (loss). MethodsIn this research, using the financial information of 139 manufacturing companies listed on the Tehran Stock Exchange over a 15-year period, from 2008 to 2022, and employing 25 machine learning models and 10 statistical models, the efficiency of machine learning models and statistical models in predicting the direction of changes in profit components including net profit (loss), gross profit (loss), and operating profit (loss) has been compared. In the present study, Excel software was used for data sorting, Eviews software for extracting descriptive statistics, and data mining software SPSS Modeler and Rapidminer for predicting profit changes. The performance of machine learning models was evaluated using two criteria: accuracy (predictive accuracy of the model) and AUC (area under the curve), and the performance of statistical models was evaluated only by the accuracy criterion. Finally, in order to select the model with the best performance for predicting the direction of changes in net profit (loss), gross profit (loss), and operating profit (loss), the best model among the machine learning models was chosen using the ROC curve. ResultsAfter calculating the average predictive accuracy of machine learning and statistical models, it was found that the average predictive accuracy of machine learning models for dependent variables including the percentage of changes in net profit (loss), percentage of changes in gross profit (loss), and percentage of changes in operating profit (loss) ranges from 83% to 93%. It was also found that the average predictive accuracy of statistical models for all three profit components varies from 76% to 83%. After confirming the non-normality of the average accuracy of machine learning and statistical models for profit components using the Kolmogorov-Smirnov test, the non-parametric Mann-Whitney U test was used to compare the predictive accuracy of machine learning models and statistical models in predicting the direction of changes in profit components. ConclusionThe results of the research hypotheses test indicate the high efficiency of machine learning models in predicting the direction of changes in net profit (loss), gross profit (loss), and operating profit (loss), compared to statistical models. The ROC curve results indicate that the decision tree model achieved a predictive accuracy of 100% in forecasting the direction of changes in net profit (loss) and 99.38% accuracy in predicting the direction of changes in gross profit (loss). Additionally, the rule-based inference model demonstrated a predictive accuracy of 86.76% for forecasting the direction of changes in operating profit (loss). These models exhibited the best performance and were selected as the optimal models.
تبلیغات
