Alhambra kehittyi paikalla 800-luvulla sijainneesta Alcazaba-linnoituksesta, jonka osia on yhä näkyvissä. Se oli melko mitätön linnoitus 1200-luvulle saakka, kunnes Granadaan muutti paljon väkeä Córdobasta, jonka kristityt olivat vallanneet takaisin maureilta 1236. Alhambra toimi tämän jälkeen lähes 250 vuoden ajan Nasrid-dynastian palatsina, hovina ja haaremina. Kun Nasridien dynastian ensimmäinen kuningas Mohammed I nousi kuninkaaksi 1238, hän vahvisti linnoitusta, ja hänen poikansa rakennutti muurin kukkulan ympärille. Jusuf I (1333–1354) ja Mohammed V (1354–1391) rakennuttivat linnoitukseen sen loisteliaat sisätilat ja pihat.[1] Palatsin tärkeimmät osat rakennettiin 1300-luvun loppupuoliskolla ja viimeiset osat 1400-luvun puolivälissä.[2] Palatsien rakentajina käytettiin kristittyjä orjia.[3]

Kristityt valtasivat Granadan takaisin 1492. Hallitsijapari Ferdinand ja Isabella muutti Alhambraan ja palkkasi muslimirakentajia kunnostamaan palatseja.[4] Vuonna 1526 Kaarle V alkoi rakennuttaa Alhambran muurien sisään omaa renessanssipalatsiaan, joka eroaa tyyliltään alueen muista rakennuksista.[1] Kaarlen palatsia ei kuitenkaan saatu rakennettua kokonaan valmiiksi, vaan se jätettiin lopulta ränsistymään. Palatsi viimeisteltiin vasta 1900-luvulla.[5] Alhambraa käytettiin palatsina vielä jonkin aikaa, kunnes se hylättiin. 1600-luvulta alkaen palatsi kärsi laiminlyönnistä, tulipaloista ja maanjäristyksistä. Sitä asuttivat kauan rikolliset ja kiertolaiset, ja sitä käytettiin ruutivarastona, minkä seurauksena siellä sattui useita tuhoisia räjähdyksiä.[1][6] 1800-luvulla palatsi löydettiin uudelleen ja sitä alettiin kunnostaa.[2] Suosituksi kohteeksi tullut palatsi alkoi samalla kärsiä matkailijoista, jotka irrottivat sen seinistä paloja. Alhambra julistettiin kansalliseksi muistomerkiksi vuonna 1870.[7]

Alhambra on maailman ainoa säilynyt keskiaikainen muslimipalatsi.[8] Vuodesta 1984 alkaen Alhambra on kuulunut Unescon maailmanperintöluetteloon.[9] Alhambra on nykyisin hyvin suosittu turistikohde.[10]