کاروانسرای مشیرالملک در ضلع شرقی میدان مرکزی شهر برازجان قرار دارد. این کاروانسرا سال 1250 شمسی به فرمان حاج میرزا ابوالحسن خان مشیرالملک و توسط حاج محمد رحیم شیرازی سازنده پل مشیر و کاروانسرای دالکی به سبک معماری زندیه ساخته است. عمده مصالح تشکیل دهنده این کاروانسرا سنگ، گچ و ساروج است و در کف آن از تخته سنگ های بزرگ تراشیده شده، استفاده شده است. بام کاروانسرای مشیرالملک نیز با سنگ پهن تراشیده شده مفروش شده بود که هنگام بارندگی آب باران بوسیله ناودان های سنگی که به طرز جالبی تعبیه شده بود به بیرون از کاروانسرا هدایت می شد. در دیوار ضلع غربی کاروانسرا درب ورودی بسیار بزرگی از جنس چوب قرار دارد که راه ورودی اصلی به حیاط کاروانسرا بوده است. در همین ضلع طبقه دوم کاروانسرا وجود دارد که به شاه نشین معروف است. این بنا مثل سایر کاروانسرا های دیگر دارای 4 برج مرتفع است. مساحت کل بنا 7000 متر مربع با زیر بنایی در حدود 4200 متر مربع است. این اثر ثبت ملی 68 اتاق دارد.