بهبود عملکرد حمله در تیم ربات های فوتبالیست با استفاده از یادگیری تقویتی

به دلیل عدم امکان پیش بینی همه وضعیت های ممکن برای عامل ها در یک سیستم چندعامله ی پویا و گسترده، روش های یادگیری ماشین، ابزار مناسبی برای کنترل رفتار عامل ها می باشد. فوتبال شبیه سازی شده ربات ها یک مسئله شناخته شده برای ارزیابی الگوریتم های یادگیری ماشین روی سیستم های چندعامله است. در این مقاله الگوریتم یادگیری کیو وی (یکی از الگوریتم های معروف یادگیری تقویتی) جهت بهبود عملکرد حمله در تیم ربات های فوتبالیست دو بعدی بکار گرفته شده است. سیگنال تقویتی براساس اینکه بازیکنانی که در حمله دخالت دارند، توپ را جلوی دروازه می رسانند، یا اینکه توپ را از دست می دهند، تعریف شده است و به ترتیب عامل ها با توجه به وضعیت ذکرشده، جایزه و جریمه دریافت می کنند. جهت بهبود عملکرد از ایده تقسیم سیگنال تقویتی متناسب با مقدار خبرگی عامل ها در یک سیستم چندعامله استفاده شده است. در اینجا میزان خبرگی متناسب با تفاوت ارزش عمل با بالاترین ارزش با ارزش عمل با کمترین مقدار ارزش در هر حالت تعریف می شود. نتایج شبیه سازی نشان می دهد، بهره گیری از ایده تقسیم سیگنال تقویتی براساس خبرگی در آموزش باعث افزایش سرعت در آموزش و بهبود عملکرد عامل ها شده است.