মোগল সম্রাট আওরঙ্গজেবের তৃতীয় পুত্র মুহাম্মদ আজম শাহ এর নির্মাণ কাজ শুরু করেছিলেন। ১৬৭৮ সালের ২৯ জুলাই তিনি বাংলার সুবেদার হিসেবে ঢাকায় আসেন। মাত্র এক বছর পরেই দূর্গের নির্মাণকাজ শেষ হবার আগেই মারাঠা বিদ্রোহ দমনের জন্য সম্রাট আওরঙ্গজেব তাকে দিল্লী ডেকে পাঠান। এসময় একটি মসজিদ ও দরবার হল নির্মাণের পর দূর্গ নির্মাণের কাজ থেমে যায়। যাওয়ার সময় তিনি নতুন সুবেদার শায়েস্তা খাঁকে কেল্লার কাজ শেষ করার অনুরোধ করে যান। নবাব শায়স্তা খাঁ ১৬৮০ সালে ঢাকা এসে পুনরায় দুর্গের নির্মাণকাজ শুরু করেন। শায়েস্তা খাঁ কেল্লার পুরো কাজ সম্পন্ন করতে না পারলেও তার কন্যা পরীবিবির সমাধির কাজ শেষ করতে পেরেছেন। তারপর আজম শাহের পিতার নামানুসারে এর নাম রাখা হয় কেল্লা আওরঙ্গাবাদ। পরবর্তিতে এই নাম পরিবর্তন করে লালবাগ কেল্লা রাখা হয়। এই কেল্লার নকশা করেন শাহ আজম। পুরনো ঢাকার লালবাগে অবস্থিত, আর সে কারণেই এর নাম হয়েছে লালবাগের কেল্লা