طراحی و تهیه دادگان برچسب خورده فارسی از اخبار مرتبط با همه گیری کووید-19 به منظور تشخیص اخبار جعلی (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
در این مقاله یک پیکره برچسب خورده، به منظور به کارگیری در تشخیص اخبار جعلی با حدود 5000 پست مربوط به اخبار همه گیری کووید-19 از پیام رسان تلگرام استخراج شده و برچسب زنی می شود. فرایند ساخت پیکره در دو مرحله انجام می پذیرد. مرحله اول شامل جمع آوری و پیش پردازش داده ها و مرحله دوم شامل برچسب گذاری آنها می باشد. در مرحله اول، داده ها فیلتر می شوند و بعد از انجام پردازش های لازم برروی آنها، در مرحله دوم، بر اساس یک شیوه نامه، اقدام به برچسب گذاری می شود. در مرحله برچسب گذاری، از هفت عنوان موردنظر برای وظایف، استفاده می گردد و هر پست خبری با توجه به این هفت وظیفه برچسب گذاری می شود. ایجاد یک چهارچوب مناسب (شیوه نامه) برای برچسب زنی یکی از اقدامات مهم در این مرحله می باشد. شیوه نامه در اختیار دو برچسب زن خبره که بدین منظور آموزش دیده اند قرار می گیرد و اخبار از لحاظ هفت وظیفه 1) صحیح یا جعلی بودن 2) سیاسی بودن 3) بالا بردن سطح آگاهی عمومی، دادن روحیه یا دادن یک توصیه به خواننده 4) مطالب مربوط به دارو و درمان یا مراقبت های بهداشتی 5) آمار مرگ و میر 6) داشتن محتوای حاوی مطالب تنفرآمیز، سرزنش، عیب جویی، منفی بافی و 7) ارزش داشتن برای بررسی واقعیت، مورد بررسی قرار گرفته و بر این اساس، برچسب درست، نادرست یا خنثی می گیرند. در صورت عدم توافق بین دو برچسب زن، از برچسب زن سوم نظرخواهی می شود. برچسب دهی اخبار طوری انجام می گیرد که در نهایت، دسته های متوازنی در وظیفه صحیح یا جعلی بودن اخبار به دست آید.Design and Preparation of Persian Labeled Dataset from COVID-19 News for Fake News Detection
Fake news detection using content features have attracted many researchers in the last few years. These approaches rely mainly on news datasets and analyzing their style and content. Although there are some fake news datasets in English, fake news detection in the Persian language suffers from the lack of suitable datasets. This article introduces a manually labeled Persian fake news dataset, containing about 5000 posts related to COVID-19 and extracted from Telegram messenger. The process of building the dataset is done in two stages: 1) data collection and pre-processing; and 2) labeling manually using a settled rule set and an established framework. In the labeling stage, seven tasks have been used for labeling, including: 1) Factual; 2) Hate, blame, and negative speech; 3) Rising moral, encouragement, and advise; 4) Political news; 5) Death statistics; 6) Cure, medicine, and health care; and 7) Worth to be considered for fact checking. For each labeling task, 3 labels including “Yes”, “No”, and “Can’t decide” are used. The main labeling task, i.e. “Factual” task is assigned to two annotators and in case of disagreement between annotators, the label assigned by third annotator is accepted. The kappa measure for inter-annotators agreement obtained equal to 0.706 that is in substantial range. This dataset is about 10 times larger in comparison to similar Persian datasets and can be used for not only fake news studies but also some other Persian Natural Language Processing (NLP) studies.
تبلیغات
