به جمع مشترکان مگیران بپیوندید!

تنها با پرداخت 70 هزارتومان حق اشتراک سالانه به متن مقالات دسترسی داشته باشید و 100 مقاله را بدون هزینه دیگری دریافت کنید.

برای پرداخت حق اشتراک اگر عضو هستید وارد شوید در غیر این صورت حساب کاربری جدید ایجاد کنید

عضویت

جستجوی مقالات مرتبط با کلیدواژه « هدوپ » در نشریات گروه « فناوری اطلاعات »

تکرار جستجوی کلیدواژه «هدوپ» در نشریات گروه «فنی و مهندسی»
  • سید امید آذرکسب *، سید حسین خواسته، مصطفی امیری

    یک راه حل منطقی برای لحاظکردن هم پوشانی خوشه ها، انتساب مجموعه ای از درجه عضویت به هر داده است. بهدلیل کمشدن افرازها و کوچکشدن فضای جستجو، خوشه بندی فازی عموما دارای سربار محاسباتی کمتری بوده، تشخیص و مدیریت داده های مبهم، نویزدار و داده های پرت نیز در آن به سهولت انجام می گیرد. ازاین رو خوشه بندی فازی از نوع پیشرفته روش های خوشه بندی به شمار میرود. اما روش های خوشه بندی فازی در مواجه با روابط غیرخطی داده ها ناتوانند. روش پیشنهادی این مقاله می کوشد تا مبتنی بر ایده های امکان پذیری، از یادگیری چندهسته ای در چارچوب نگاشت کاهش هدوپ برای تشخیص خوشه های خطی جدایی ناپذیر با ساختار کلان داده های پیچیده، استفاده کند. مدل یادگیری چندهسته ای قادر به کشف روابط پیچیده بین دادهای بوده و در عین حال هدوپ ما را قادر خواهد ساخت تا به جای تعامل با سیستم عامل و پردازنده، با یک کلاستر منطقی از پردازش ها و گره های انباره داده تعامل داشته باشیم و عمده کار را بر عهده فریمورک بیندازیم. به طور خلاصه مدلسازی روابط غیرخطی داده ها با استفاده از مدل یادگیری چند هسته ای، تعیین مقادیر مناسب برای پارامترهای فازی سازی و امکان پذیری، و ارایه الگوریتم در مدل نگاشت کاهش هدوپ از دستاوردهای کلیدی مقاله حاضر میباشد. آزمایش ها برروی یکی از مجموعه داده های پر استفاده مخزن یادگیری UCI و همچنین برروی دیتاست شبیه ساز CloudSim پیاده سازی شده است و نتایج قابل قبولی به دست آمده است. طبق مطالعات منتشر شده، مخزن یادگیری UCI برای مقاصد رگرسیون و خوشه بندی کلان داده، و مجموعه داده CloudSim برای شبیه سازی موارد مربوط به رایانش ابری، محاسبه تاخیرهای زمانی و زمانبندی انجام وظایف معرفی شدهاند.

    کلید واژگان: داده های کلان, خوشه بندی, منطق فازی, یادگیری چندهسته ای, هدوپ, نگاشت کاهش}
    Seyed Omid Azarkasb *, Seyed Hossein Khasteh, Mostafa Amiri

    A logical solution to consider the overlap of clusters is assigning a set of membership degrees to each data point. Fuzzy clustering, due to its reduced partitions and decreased search space, generally incurs lower computational overhead and easily handles ambiguous, noisy, and outlier data. Thus, fuzzy clustering is considered an advanced clustering method. However, fuzzy clustering methods often struggle with non-linear data relationships. This paper proposes a method based on feasible ideas that utilizes multicore learning within the Hadoop map reduce framework to identify inseparable linear clusters in complex big data structures. The multicore learning model is capable of capturing complex relationships among data, while Hadoop enables us to interact with a logical cluster of processing and data storage nodes instead of interacting with individual operating systems and processors. In summary, the paper presents the modeling of non-linear data relationships using multicore learning, determination of appropriate values for fuzzy parameterization and feasibility, and the provision of an algorithm within the Hadoop map reduce model. The experiments were conducted on one of the commonly used datasets from the UCI Machine Learning Repository, as well as on the implemented CloudSim dataset simulator, and satisfactory results were obtained.According to published studies, the UCI Machine Learning Repository is suitable for regression and clustering purposes in analyzing large-scale datasets, while the CloudSim dataset is specifically designed for simulating cloud computing scenarios, calculating time delays, and task scheduling.

    Keywords: Big Data Clustering, Fuzzy Multicore Learning, Hadoop Map Reduce, Task Scheduling, Cloud Computing, Pattern Recognition}
نکته
  • نتایج بر اساس تاریخ انتشار مرتب شده‌اند.
  • کلیدواژه مورد نظر شما تنها در فیلد کلیدواژگان مقالات جستجو شده‌است. به منظور حذف نتایج غیر مرتبط، جستجو تنها در مقالات مجلاتی انجام شده که با مجله ماخذ هم موضوع هستند.
  • در صورتی که می‌خواهید جستجو را در همه موضوعات و با شرایط دیگر تکرار کنید به صفحه جستجوی پیشرفته مجلات مراجعه کنید.
درخواست پشتیبانی - گزارش اشکال