Тимурид Бабур реконструировал располагавшийся здесь дворец делийских султанов Сикандара Лоди и Ибрагима Лоди[1] и провёл сюда т. н. Баоли (акведук). Позднее здесь нередко останавливался Хумаюн.

Строительство собственно форта началось в 1565 году по инициативе Акбара I Великого, который в 1558 году перенёс столицу из Дели в Агру. Здесь он реконструировал старый и полуразрушенный форт Бадалгар (по сведениям придворного историка Абдул-Фазала). Уже в 1571 году форт был полностью обнесён стеной из раджастанского красного песчаника. Преемники Акбара Великого, прежде всего Шах-Джахан, расширили форт в начале XVII века. В то время как при Акбаре отдавалось предпочтение красному песчанику с элементами мрамора, при Шах-Джахане в качестве строительного материала употреблялся белый мрамор с узорами из золота и драгоценных камней.

В 1648 году столица была перенесена обратно в Дели, в связи с чем Красный форт на время утратил своё значение. После захвата власти в 1658 году, Аурангзеб содержал своего отца Шах-Джахана в Красном форте под домашним арестом, где тот и умер в 1666 году.

В 1761 году джаты княжества Бхаратпур отвоевали у Моголов Агру и на 13 лет утвердились в Красном форте. Джахавир Сингх управлял Бхаратпуром из Агры, сидя прямо на чёрном мраморном троне Джахангира. Там он и был убит в 1768 году. В 1774 году Агру захватил Наджаф-хан (который к 1775 году лишил джатов почти всех их владений, оставив им лишь окрестности Бхаратпура).

В 1785 году Агру и Красный форт захватил маратхский махараджа Махаджи Шинде.

В 1803 году форт был захвачен британскими войсками. Во время восстания сипаев 1857 года форт был местом вооружённых столкновений.