یکی از مناطق دیدنی و البته تاریخی شهرستان شیروان غار کافر قلعه است. این غار در 5 کیلومتری جنوب باختری روستای گلیان و در ارتفاع 50 متری دره وسیعی که به روستای برزلی ختم می شود، واقع شده است. کافر قلعه یک غار مسکونی بوده که در زمان های گذشته به صورت پناهگاه از آن استفاده می شده است. در اطراف این غار آثاری از سنگ چین و دیوارهای سنگی و در جنوب آن، گورستان قدیمی کوچکی وجود دارد که مسکونی بودن غار را به اثبات می رساند. دهانه کافر قلعه عمودی به سمت زمین و به صورت شکافی سنگی است که پس از 3 متر به کف غار و به منطقه ای به ابعاد 6 × 8 متر منتهی می شود که به دلیل ارتفاع کم آن، انسان باید خمیده در آن حرکت کند. تاکنون تعدادی اشیا عتیقه و کتاب های خطی در این غار کشف شده ولی قدمت آن هنوز مشخص نشده است. در گلیان غار دیگری نیز وجود دارد که به علت وصل شدن فاضل آب منازل به غار، غیرقابل بازدید است.