افزایش دقت بازشناسی صحنه های طبیعی پویا با استفاده از همبستگی بین نقشه های ویژگی در شبکه های عصبی پیچشی

بازشناسی صحنه های پویا یکی از زمینه های تحقیقاتی اساسی در حوزه بینایی ماشین بشمار می رود. در این مقاله با استفاده از شبکه های عصبی پیچشی (CNN)، روشی موثر جهت بازشناسی صحنه های پویا ارایه می شود. در روش پیشنهادی، همبستگی بین نقشه های ویژگی حاصل از لایه های مختلف یک شبکه عصبی به عنوان بردار های ویژگی حاوی اطلاعات ویدیو، مورد استفاده قرار گرفته است. در این روش، ابتدا N فریم از ویدیو انتخاب شده و به کمک یک شبکه عصبی پیچشی، نقشه های ویژگی مربوط به فریم های منتخب، استخراج شده و برای هر فریم، یک ماتریس گرام محاسبه می شود که بیانگر ویژگی های مکانی فریم های ویدیو است. سپس با قطعه بندی زمانی فریم های منتخب و میانگین گیری بر روی ماتریس های گرام این فریم ها، اطلاعات زمانی نیز لحاظ می شود. با انجام عملیات کدینگ ویژگی ها و سپس pooling، برای هر ویدیو یک بردار ویژگی به منظور طبقه بندی ویدیو حاصل می شود. نتایج شبیه سازی ها بر روی سه مجموعه داده مطرح در این زمینه نشان می دهد که روش پیشنهادی از دقت بازشناسی بهتری در مقایسه با سایر روش های مطرح در این زمینه تحقیقاتی برخوردار بوده و دقت بازشناسی را تا 9% برای مجموعه داده Maryland و 3% برای مجموعه داده YUP++ بهبود بخشیده است.