در دنیای امروز، وب به عنوان منبع عظیمی از اطلاعات شناخته می شود که روز به روز بر حجم اطلاعاتی که در این منبع یافت می شود، افزوده خواهد شد.

ایجاد وبگاه های جدید و گسترش وبگاه های موجود نقش مهمی در افزایش حجم اطلاعات موجود در وب دارد. اگر بخواهید درباره موضوع خاصی در وب جستجو کنید با حجم انبوهی از صفحات مواجه می شوید که می توانید در آنها به اطلاعات مورد نظرتان دسترسی داشته باشید. موتورهای جستجو در پیدا کردن این اطلاعات برای کاربران نقش مهمی دارند.