افزایش سرعت فرایند یادگیری DQN با مکانیزم آثار شایستگی

برای سرعت بخشیدن به فرآیند یادگیری در مسایل یادگیری تقویتی با ابعاد بالا، معمولا از ترکیب روش های TD، مانند یادگیری Q یا سارسا، با مکانیزم آثار شایستگی، استفاده می شود. در الگوریتم شبکه عمیق Q (DQN)، که به تازگی معرفی شده، تلاش شده است که با استفاده از شبکه های عصبی عمیق در یادگیری Q، الگوریتم های یادگیری تقویتی را قادر سازد که به درک بالاتری از دنیای بصری رسیده و به مسایلی گسترش یابند که در گذشته رام نشدنی تلقی می شدند. DQN که یک الگوریتم یادگیری تقویتی عمیق خوانده می شود، از سرعت یادگیری پایینی برخوردار است. در این مقاله سعی می شود که از مکانیزم آثار شایستگی که یکی از روش های پایه ای در یادگیری تقویتی به حساب می آید، در یادگیری تقویتی در ترکیب با شبکه های عصبی عمیق استفاده شود تا سرعت فرایند یادگیری بهبود بخشیده شود. همچنین برای مقایسه کارایی با الگوریتم DQN، روی تعدادی از بازی های آتاری 2600، آزمایش انجام شد و نتایج تجربی به دست آمده در آنها نشان می دهند که روش ارایه شده، زمان یادگیری را در مقایسه با الگوریتم DQN، به طرز قابل توجهی کاهش داده و سریعتر به مدل مطلوب همگرا می شود