نامتقارن بودن داده

امروزه داده ها به عنوان یکی از دارایی های ارزشمند سازمان ها و صنایع مختلف، نقش مهمی را در توسعه و پیشرفت کسب وکارها ایفا می کنند. درواقع هر سازمانی برای جمع آوری داده های خود از منابع مختلفی استفاده می کند که یکی از این منابع بستر وب است که در آن روزانه داده های زیادی توسط کاربران مختلف و یا حتی ربات ها در سراسر جهان تولید و منتشر می شود. جمع آوری و تحلیل چنین داده هایی، می تواند اطلاعات مفیدی را برای سازمان فراهم نماید. به همین منظور طی دهه های گذشته ابزارهای مختلفی توسعه یافته اند که به برداشت اطلاعات از بستر وب کمک شایانی نموده اند که ازجمله آن ها می توان به کتابخانه های ریکوئست، سلنیوم، اسکرپی، سوپ زیبا و ... در زبان برنامه نویسی پایتون اشاره نمود. بااین حال، هر یک از این کتابخانه ها با چالش هایی مواجه هستند. ما در این مقاله با مطالعه کتابخانه سلنیوم و با توجه به وجود چالش های متعدد در آن، راه حلی را برای مدیریت زمان و بهبود چالش نامتقارن بودن آن ارائه نموده ایم. آزمایش های ما نشان می دهد که استفاده از راه حل پیشنهادی، دقت اطلاعات برداشت شده از بستر وب را افزایش و درنتیجه چالش نامتقارن بودن را بهبود می دهد و همچنین زمان برداشت اطلاعات از بستر وب را نیز کاهش می دهد.