واکاوی علل شکست ارزشیابی اجرای خط مشی های زیربنایی در ایران (حیطه پژوهش: خط مشی های توسعۀ صنعتی) (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
هدف: مطابق شواهد تجربی و مطالعات مختلف، ارزشیابی اجرای خط مشی های زیربنایی در ایران، در چند دهه اخیر نتوانسته است به اهداف ارزشیابی منتهی شود که همانا ارائه بازخورد مناسب به مسئولان امر، افزایش انباشته تجربه و یادگیری، ارائه پیشنهادهای اصلاحی در خط مشی ها یا فرایند اجرای آن ها، ترمیم و تکمیل این خط مشی ها یا رفع موانع محیطی در ارتباط با اجرای این خط مشی ها است. پژوهش حاضر با هدف شناسایی چالش هایی اجرا شده که به چنین اشکالاتی منجر شده است و در پی پاسخ به چرایی مؤثر نبودن ارزشیابی های مزبور (شکست ارزشیابی) با تمرکز بر خط مشی های توسعه صنعتی است. روش: پژوهش حاضر با استفاده از روش تحقیق کیفی و تحلیل مضمون انجام شده است. در این پژوهش با ۴۸ نفر از خبرگانی مصاحبه شد که با حوزه ارزشیابی خط مشی آشنا بودند و در سازمان های نظارتی (ارزشیاب)، دانشگاه ها و پژوهشکده ها، دستگاه های اجرایی و سازمان های خط مشی گذار در حوزه ارزشیابی فعالیت می کردند. این افراد به روش هدفمند و نمونه برداری گلوله برفی انتخاب شدند. داده های حاصل از مصاحبه با خبرگان، به کمک روش تحلیل تم، تجزیه وتحلیل و به استخراج ۵۶۴ کد از این مصاحبه ها منتهی شد. یافته ها: یافته های حاصل از تحلیل مضمون داده های پژوهش نشان داد که به طورکلی، پنج ابرچالش کلان (مضمون فراگیر اصلی) در نظام ارزشیابی ایران وجود دارد که به شکست ارزشیابی اجرایی خط مشی های زیربنایی منجر شده است. از این پنج ابرچالش، دو چالش «ایجاد بستر نهادی لازم برای ارزشیابی مؤثر» و «حکمرانی ضعیف سامان دهی نظام ارزشیابی»، در سطح ملی و کلان کشور نمود دارد که رفع آن ها، به اقدام های اصلاحی در سطح کلان نیاز دارد. سه ابرچالش دیگر، یعنی «چالش مربوط به روش ها و فرایندهای ارزشیابی»، چالش اختصاصی مرتبط با «ویژگی های سازمانی» و چالش مربوط به «ارائه نتایج ارزشیابی»، در سطح سازمانی نمود یافته و در آن سطح نیز رفع می شود. همچنین، از مجموع ۱۳۶ عامل (مضمون پایه) ۱۷ چالش کلان فرعی (مضمون فراگیر فرعی) و ۴۸ چالش جزئی تر (مضمون سازمان دهنده) نیز در زیرمجموعه هر یک از این ابرچالش ها به دست آمد که هر یک عاملی بسیار مهم برای شکست اجرای ارزشیابی خط مشی های زیربنایی در ایران به حساب می آید. نتیجه گیری: مطابق یافته های پژوهش، برای ارزشیابی اجرای خط مشی های زیربنایی در ایران چالش های متعددی وجود دارد که به شکست ارزشیابی اجرای خط مشی های زیربنایی کشور منجر شده است؛ به نحوی که ارزشیابی های انجام شده به لحاظ کمّی، محدود است و برخی از آن ها، متناقض، مبهم، کلی، بی استفاده و دور از دسترس خط مشی گذاران قرار دارد. تنها با رفع چالش های موجود می توان به موفقیت ارزشیابی اجرای خط مشی ها در تحقق اهداف اصلی خود در درس آموزی، عبرت گیری، درک درست از اصلاحات لازم در اجرا و محتوای خط مشی های مصوب امیدوار بود. مطابق نتایج پژوهش، پیشنهاد می شود که برای رفع این چالش ها، ضمن بازبینی و اصلاح قوانین و مقررات حوزه ارزشیابی، بهبود فرهنگ ارزشیابی و پرورش نیروهای متخصص ارزشیابی در کشور و امکان پذیر کردن ایجاد مؤسسه های خصوصی و مردم نهاد ارزشیابی و بازمهندسی ساختار و بافتار سازمان های ارزشیاب متناسب با ویژگی های لازم، روی روش ها و فرایندهای بومی ارزشیابی، نظام های آماری مناسب برای ارزشیابی و انتشار به موقع و آزادی در نشر نتایج ارزشیابی تأکید و اقدام شود.Analyzing the Causes of the Failure of the Evaluation of the Implementation of Infrastructure Policies in Iran (Field of Research: Industrial Development Policies)
Objective
Experimental evidence and numerous studies suggest that the evaluation of infrastructure policy implementation in Iran over the past few decades has consistently fallen short of achieving its intended goals. These goals include providing constructive feedback to authorities, enhancing accumulated experience and learning, offering recommendations for policy adjustments or improvements in their implementation, and addressing or eliminating environmental obstacles that hinder policy execution. However, the evaluations conducted have not successfully met these objectives. This research aims to identify the challenges contributing to these shortcomings and seeks to answer the critical question of why these evaluations have been ineffective—referred to as "evaluation failure"—with a particular focus on industrial development policies.
Methods
This research employed a qualitative research method, utilizing thematic analysis to explore the issue in depth. The study involved 48 experts with substantial experience in policy evaluation, selected through targeted and snowball sampling methods. These experts were drawn from four key groups: 1) regulatory organizations (evaluators), 2) universities and research institutes, 3) executive bodies, and 4) policy-making organizations. Through in-depth interviews, data were collected and subsequently analyzed using the thematic analysis method. From these interviews, 564 unique codes were extracted, which formed the basis of the study's findings.
Results
The analysis of the research data revealed five overarching "mega-challenges" within Iran's evaluation system that have significantly contributed to the failure of effective evaluation of infrastructure policies. Of these five mega-challenges, two—namely, "the creation of a necessary institutional framework for effective evaluation" and "weak governance within the evaluation system"—are issues at the national and macro levels, necessitating corrective measures at these broader levels to address them effectively. The remaining three mega-challenges—"challenges related to evaluation methods and processes," "challenges associated with organizational characteristics," and "challenges related to the presentation of evaluation results"—manifest primarily at the organizational level and can potentially be resolved within that context. Additionally, the study identified 17 sub-macro challenges (overarching sub-themes) and 48 more detailed challenges (organizing themes), which are subsets of these mega-challenges. In total, 136 factors (basic themes) were identified, each representing critical elements contributing to the failure of infrastructure policy evaluations in Iran.
Conclusion
The research findings indicate that several significant challenges have undermined the effectiveness of infrastructure policy evaluations in Iran. These challenges have resulted in evaluations that are often quantitatively limited, contradictory, vague, overly general, impractical, and disconnected from the needs of policymakers. Overcoming these challenges is essential to improving the evaluation process, thereby enabling it to achieve its primary objectives: facilitating learning, understanding necessary reforms in policy implementation, and improving the content of approved policies. To address these challenges, the research suggests revising and amending laws and regulations related to evaluation, fostering a culture of evaluation, training evaluation specialists, and creating opportunities for private and non-governmental institutions to engage in evaluation. Additionally, it is recommended to reengineer the structure and context of evaluation organizations to align with necessary features, emphasize local evaluation methods and processes, develop appropriate statistical systems, and ensure the timely and free publication of evaluation results.