استفاده از تکنولوژی داده های عظیم برای نظرکاوی

نظرات، نقش مهم و تعیین کننده ای در فرایند تصمیم گیری چه برای مشتریان و چه برای سازمان های تجاری ایفا می کنند. از این رو، وجود سیستم های خودکار نظرکاوی برای داده های نظری موجود در وب، ضروری به نظر می رسد. از طرفی، با حجم بالا و رشد روزافزون داده های نظری روی وب، فرایند نظرکاوی می تواند با چالشی بزرگ روبه رو شود؛ چرا که پردازش و تحلیل این حجم عظیم از داده ها با تکنولوژی های متداول، ممکن است عملی نباشد. در صورتیکه که سیستم های کاوش نظرات به تکنولوژی های داده های عظیم مجهز شوند، بدون نگرانی از مدیریت، ذخیره سازی و مدیریت حجم روزافزون داده های نظری، می توانند به کار خود ادامه دهند. با آنکه در سال های اخیر تحقیقات زیادی در حوزه تحلیل حسی نظرات انجام شده است، اما تلاش های کمی در حوزه کاوش داده های نظری در حیطه زبان فارسی در مقیاس بالا انجام گرفته است. از این رو، در این تحقیق، دو روش نظرکاوی برای داده های زبان فارسی با استفاده از یک لغت نامه حسی زبان فارسی در بستر تکنولوژی داده های عظیم ارایه شده است. برای ذخیره سازی و پردازش داده های نظری از چارچوب متداول و کارای هدوپ و مدل برنامه نویسی نگاشت_کاهش (MapReduce) استفاده شده است. چارچوب پیشنهاد شده  برای نظرکاوی، دارای قابلیت بکارگیری و مقیاس پذیری برای بسیاری از روش های تحلیل حسی بر روی حجم بالای نظرات می باشد. علاوه بر این، در این پژوهش آزمایش های متعددی انجام شده است که کارایی استفاده از تکنولوژی های داده های عظیم را در موقعیت های مختلف مورد بررسی قرار می دهد. نتایج به دست آمده حاکی از آن است که چارچوب پیشنهادی برای نظرکاوی به شکلی کارا عمل کرده و نه تنها برای حجم های بالا بلکه در حجم های حدود 20 مگابایت شاهد افزایش 100 برابری در کارامدی هستیم. این ضریب در حجم های بالاتر بیشتر به شکل محسوس تری افزایش می یابد.