Les restes més antigues trobades al lloc són uns carreus de granit similars als de l'aqüeducte romà, el que fa suposar que en temps de la dominació romana de la ciutat ja devia haver-hi un castro o fortificació. Sobre les restes d'aquest, l'alcàsser va ser erigit com a fortalesa andalusina. La primera notícia documental que es conserva de l'edifici data de l'any 1122, poc després que Alfons VI de Lleó reconquerís la ciutat, encara que no és fins a l'any 1155 quan apareix citat amb la denominació d'alcàsser, en una carta custodiada a l'arxiu de la catedral. Fou residència del rei Alfons VIII. El 1258, regnant Alfons X, es va enfonsar el palau quan el rei es trobava al seu interior. Aquest nucli més antic correspon amb la sala d'armes. Va ser nombroses vegades restaurat i ampliat, possiblement des d'Alfons X fins a Felip II. A aquest últim es deu el seu aspecte actual, la seva silueta el fa únic entre els castells espanyols.

A l'edat mitjana, per la seva seguretat com per la proximitat de zones de caça, l'Alcàsser es va convertir en una de les residències favorites dels reis de Castella, especialment d'Alfons X. Va ser habitat moltes vegades i va arribar a ser un dels més sumptuosos palau-castells al segle xv.

L'any 1719 els presos d'Estat de la Guerra de Successió Espanyola van ser traslladats a aquest alcàsser. Hi destaquen entre d'altres, el general Joan Baptista Basset i Ramos i els coronels Sebastià Dalmau i Josep Vicent.[1]

La fortalesa va servir posteriorment com a presó d'Estat fins que el 1762 Carles III va fundar a Segòvia el Reial Col·legi d'Artilleria que va tenir la seva seu a l'alcàsser. El 1862, un incendi va destruir els sostres de les sales nobles, que van poder ser reconstruïdes fidelment amb posterioritat gràcies a l'existència de gravats. El 1931 va ser declarat monument històric artístic. L'any 1953 es va crear el patronat de l'alcàsser que és el responsable del museu que es pot visitar en el seu interior.