توسعه کنترلر هوشمند چراغ های راهنمایی بر پایه یادگیری تقویتی حالت پیوسته در محیط ترافیکی میکروسکوپیک

افزایش روزافزون تعداد خودروها و در پی آن ترافیک های سنگین شهری چالش بزرگی را برای کنترل بهینه ترافیک شهری برای مهندسین ایجاد کرده است. روش مناسب برای کنترل بهینه ترافیک هرچه باشد یقینا باید وفق پذیر بوده تا بتواند ترافیک شهری را که دارای طبیعت پویا، پیچیده و تغییرپذیر است را به خوبی مدیریت نماید. در این راستا تمرکز اصلی تحقیق حاضر کنترل هوشمند و توزیع یافته چراغ های راهنمایی بر پایه یادگیری تقویتی است. کنترل هوشمند چراغ های راهنمایی بر پایه یادگیری تقویتی نیاز به یادگیری و تصمیم گیری در فضای حالت بزرگ (پیوسته) را دارد. همین امر باعث می شود که روش های رایج یادگیری تقویتی (حالت گسسته) برای چنین مسائلی (با فضای حالت بزرگ) به خوبی قابل بسط نباشند. هدف تحقیق حاضر حل این چالش در مسئله کنترل ترافیک میکروسکوپیک است. در همین راستا نوآوری تحقیق حاضر را می توان توسعه کنترلر هوشمند چراغ های راهنمایی بر پایه یادگیری تقویتی حالت پیوسته برای حل چالش بزرگ بودن فضای حالت برشمرد. یادگیری تقویتی حالت پیوسته از شباهت سنجی حالات برای تخمین ارزش آن ها استفاده می کند. در این تحقیق به منظور اعتبار سنجی، دو روش یادگیری Q و عملگر-نقاد حالت گسسته نیز پیاده سازی و عملکرد آن ها با روش پیشنهادی مقایسه شدند. نتایج نشان می دهند که روش پیشنهادی منجر به کاهش 16% و 13% زمان سفر در مقایسه با دو روش عملگر-نقاد و یادگیری Q می شود.