সম্রাট আওরঙ্গজেবের ৩য় পুত্র, মুঘল রাজপুত্র আজম শাহ বাংলার সুবেদার থাকাকালীন ১৬৭৮ সালে এটার নির্মাণকাজ শুরু করেন। তিনি বাংলায় ১৫ মাস ছিলেন। দুর্গের নির্মাণকাজ শেষ হবার আগেই মারাঠা বিদ্রোহ দমনের জন্য পিতা সম্রাট আওরঙ্গজেব তাকে দিল্লি ডেকে পাঠান। এসময় একটি মসজিদ ও দরবার হল নির্মাণের পর দুর্গ নির্মাণের কাজ থেমে যায়।
