1787 में जोहान जोफनी द्वारा चित्रित किले का दक्षिण द्वार औरंगजेब के तीसरे बेटे मुगल राजकुमार मुहम्मद आज़म ने 1678 में बंगाल में अपनी अपने किले का काम शुरू किया। वह 15 महीने तक बंगाल में रहे। लेकिन फिर भी यह किला सही ढंग से बना नहीं और अधूरा ही रहा | शाइस्ता खान उस समय ढाका का नया सबहादर था, और उसने किले को पूरा नहीं किया। 1684 में, शाइस्ता खान की बेटी ईरान दुख्त पार बीबी की मृत्यु हो गई। उनकी मृत्यु के बाद, उन्होंने किले को दुर्भाग्यपूर्ण माना, और संरचना को अपूर्ण छोड़ दिया[1]। लालबाग किले के तीन प्रमुख हिस्सों में से एक, पार बीबी का मकबरा है। शाइस्ता खान ढाका छोड़ने के बाद, यह अपनी लोकप्रियता खो गया। मुख्य कारण यह था कि राजधानी ढाका से मुर्शिदाबाद में ले जाया गया था। शाही मुगल काल के अंत के बाद, किला छोड़ दिया गया। 1844 में, इस क्षेत्र ने अपना नाम लालबाग के रूप में औरंगाबाद की जगह ले लिया, और किला लालबाग किला बन गया |[2] इसका नाम तब से लालबाग किला ही पड़ गया |