ارائه فرایندی جهت یکپارچه سازی و تشخیص تکرار برای بهبود کیفیت داده ها

اطلاعات در محیط های کاری امروزی و تصمیم گیری ها نقشی اساسی دارند. با توجه به اهمیت تصمیم گیری، اطمینان از کیفیت داده های موجود ضروری است. با استفاده از روش های پاک سازی داده می توان کیفیت داده ها را بهبود بخشید. در این مقاله فرایندی در جهت کشف انواع رکورد های تکراری و متناقض، یکپارچه سازی و تشخیص تکرار برای بهبود کیفیت داده ها ارایه می شود. فرایند پیشنهادی شامل بخش هایی ازجمله کد کردن داده ها و خوشه بندی با استفاده از الگوریتم امید ریاضی- بیشینه سازی، ساخت نشانه برای رکوردها، ادغام روش های کدکردن داده ها و ساخت نشانه و ایجاد قوانین انجمنی با استفاده از الگوریتم Fp-growth است. نتایج آزمایش ها نشان می دهد در فرایند پیشنهادی به طور متوسط معیار فراخوانی 96%، صحت 99%، دقت 95% و امتیاز- اف 95% شده است. روش پیشنهادی با یک روش شناسایی تکرار و خطا، مقایسه شده است که نتایج حاصل نشان دهنده ی افزایش 13% فراخوانی، 1% صحت و 6% امتیاز- اف است.