آبگیر داده: رویکردی نوین جهت مدیریت و تحلیل بی درنگ داده های حجیم

با افزایش سرعت تولید داده ها، نیاز به پردازش، ذخیره سازی و تحلیل داده های حجیم روزبه روز در حال افزایش است. به تازگی دریاچه داده برای داده های ناساختیافته (با خصوصیت BASE) مطرح شده است. اما وجود داده های حساس ساخت یافته (با خصوصیت ACID) و داده های با حساسیت کمتر غیرساخت یافته در داده های حجیم از طرفی باعث بروز مشکلاتی جدید در مدیریت داده های حجیم با استفاده از این روش‏ها شده است. در این مقاله راه حلی ارائه خواهد شد که قادر خواهد بود داده های ساخت یافته و ناساخت یافته با خصوصیات متفاوت را به صورت هم زمان ذخیره سازی و به پرس وجوهای کاربر به صورت بلادرنگ پاسخ دهد. روش مذکور پس از بررسی انبار داده و دریاچه داده، مشخص کردن نقاط قوت و ضعف و درنهایت با تلفیق این دو روش مطرح شده است. به عنوان یکی از نتایج مهم این تحقیق پس از مقایسه انبار داده و دریاچه داده خواهیم دید، دریاچه داده جایگزینی برای انبار داده نبوده و انبار داده کاربرد های خاص خود را مخصوصا در داده های مالی دارد، زیرا از نظریه ACID پیروی کرده و دریاچه داده نیازمندی های نظریه BASE را رفع می کند. ایده مطرح شده در این مقاله با عنوان آبگیر داده، دارای سه مزیت اصلی است: 1- استفاده هم زمان از انبار داده و دریاچه داده جهت پاسخگویی بلادرنگ به انواع نیاز های داده‏ای سازمان با بهره گیری از مزایای آن ها 2- تفکیک داده های جدید از قدیمی جهت رسیدن به بی درنگی 3- ایجاد توازی و درنتیجه عدم هم زمانی بارگذاری داده و پردازش پرس وجو جهت کاهش هزینه زمانی.