यह मूलतः एक ईंटों का किला था,इसका प्रथम विवरण 1080 ई० में आता है, जब महमूद गजनवी की सेना ने इस पर कब्ज़ा किया था। सिकंदर लोदी (1487-1517), दिल्ली सल्तनत का प्रथम सुल्तान था जिसने आगरा की यात्रा की तथा इसने इस किले की मरम्म्त १५०४ ई० में करवायी व इस किले में रहा था। सिकंदर लोदी ने इसे १५०६ ई० में राजधानी बनाया और यहीं से देश पर शासन किया। उसकी मृत्यु भी इसी किले में 1517 में हुई थी। बाद में उसके पुत्र इब्राहिम लोदी ने गद्दी नौ वर्षों तक संभाली, तब तक, जब वो पानीपत के प्रथम युद्ध (1526) में मारा नहीं गया। उसने अपने काल में यहां कई स्थान, मस्जिदें व कुएं बनवाये।

पानीपत के बाद मुगलों ने इस किले पर भी कब्ज़ा कर लिया साथ ही इसकी अगाध सम्पत्ति पर भी। इस सम्पत्ति में ही एक हीरा भी था जो कि बाद में कोहिनूर हीरा के नाम से प्रसिद्ध हुआ। तब इस किले में इब्राहिम के स्थान पर बाबर आया। उसने यहां एक बावली बनवायी। सन 1530 में यहीं हुमायुं का राजतिलक भी हुआ। हुमायुं इसी वर्ष बिलग्राम में शेरशाह सूरी से हार गया व किले पर उसका कब्ज़ा हो गया। इस किले पर अफगानों का कब्ज़ा पांच वर्षों तक रहा, जिन्हें अन्ततः मुगलों ने 1556 में पानीपत का द्वितीय युद्ध में हरा दिया।

इस की केन्द्रीय स्थिति को देखते हुए, अकबर ने इसे अपनी राजधानी बनाना निश्चित किया व सन 1558 में यहां आया। उसके इतिहासकार अबुल फजल ने लिखा है कि यह किला एक ईंटों का किला था, जिसका नाम बादलगढ़ था। यह तब खस्ता हालत में था व अकबर को इसे दोबारा बनवाना पड़ा, जो कि उसने लाल बलुआ पत्थर से निर्मण करवाया। इसकी नींव बड़े वास्तुकारों ने रखी। इसे अंदर से ईंटों से बनवाया गया, व बाहरी आवरण हेतु लाल बलुआ पत्तह्र लगवाया गया। इसके निर्माण में चौदह लाख चवालीस हजार कारीगर व मजदूरों ने आठ वर्षों तक मेहनत की, तब सन 1573 में यह बन कर तैयार हुआ।

अकबर के पौत्र शाहजहां ने इस स्थल को वर्तमान रूप में पहुंचाया। यह भी मिथक हैं, कि शाहजहां ने जब अपनी प्रिय पत्नी के लिये ताजमहल बनवाया, वह प्रयासरत था, कि इमारतें श्वेत संगमर्मर की बनें, जिनमें सोने व कीमती रत्न जड़े हुए हों। उसने किले के निर्माण के समय, कई पुरानी इमारतों व भवनों को तुड़वा भी दिया, जिससे कि किले में उसकी बनवायी इमारतें हों।

अपने जीवन के अंतिम दिनों में, शाहजहां को उसके पुत्र औरंगज़ेब ने इस ही किले में बंदी बना दिया था, एक ऐसी सजा, जो कि किले के महलों की विलासिता को देखते हुए, उतनी कड़ी नहीं थी। यह भी कहा जाता है, कि शाहजहां की मृत्यु किले के मुसम्मन बुर्ज में, ताजमहल को देखेते हुए हुई थी। इस बुर्ज के संगमर्मर के झरोखों से ताजमहल का बहुत ही सुंदर दृश्य दिखता है।

यह किला १८५७ का प्रथम भारतीय स्वतंत्रता संग्राम के समय युद्ध स्थली भि बना। जिसके बाद भारत से ब्रिटिश ईस्ट इंडिया कंपनी का राज्य समाप्त हुआ, व एक लगभग शताब्दी तक ब्रिटेन का सीधे शासन चला। जिसके बाद सीधे स्वतंत्रता ही मिली।