Op 1 juni 1533 werd Cartagena de Indias gesticht door Pedro de Heredia. Hij koos de plek op een klein schiereiland. Deze locatie was moeilijk aan te vallen over land en de baai bood de schepen een veilige ankerplaats.

Het kasteel staat op de San Lázaro heuvel op zo’n 40 meter boven zeeniveau. Vanaf deze strategische locatie domineert het de toegang tot de stad over land of over zee. De vijand kon tijdig worden gesignaleerd en de soldaten hadden voldoende tijd hun posities in te nemen om een aanval te pareren. De bouw begon in het jaar 1536 en stond oorspronkelijk bekend als het Castillo de San Lázaro.

In 1657 werd het kasteel fors uitgebreid. Het kreeg een driehoekige vorm, met acht batterijen en een garnizoen van 200 soldaten en kanonniers. De naam werd gegeven ter ere van koning Filips IV van Spanje. Bij de inval in Cartagena in 1697, tijdens de Negenjarige Oorlog (1688-1697), viel het kasteel in handen van de Franse kaper Jean-Bernard de Pointis. Het herstel was langzaam en kwam pas in 1739 gereed onder José de Herrera y Sotomayor.

Tussen 1739 en 1741 woedde een koloniale oorlog tussen Engeland en Spanje die ook bekend staat als de Oorlog om Jenkins' oor (1739-1741). De Britse admiraal Edward Vernon viel met een grote overmacht het fort aan in 1741, een strijd die bekend staat als de slag om Cartagena de Indias. De aanval mislukte, de Spaanse troepen onder leiding van admiraal Blas de Lezo boden hevig weerstand. De laatste aanval op het kasteel faalde op 20 april. Door ziekte en zware verliezen in de strijd en de komst van het regenseizoen kozen de Britten ervoor om de belegering te staken.

In 1763 volgde weer een tweede uitbreiding onder leiding van Antonio de Arévalo. Het werk duurde langer dan 30 jaar en het kwam pas in 1798 gereed. Tijdens de Spaans-Amerikaanse onafhankelijkheidsoorlogen halverwege 1815 was een grote Spaanse expeditieleger onder leiding van generaal Pablo Morillo in Verenigde Provinciën van Nieuw-Granada aangekomen. Cartagena viel in december 1815 en in mei 1816 hadden de royalisten de controle over heel Nieuw-Granada.