스페인의 다른 수많은 요새들과 마찬가지로 본래 아랍의 요새가 있던 곳에 건설된 성이다. 이 아랍 요새 역시 그 자체는 로마 시대의 요새 위에 지어진 것으로, 그 흔적이 약간 남아있다. 이 특별한 알카사르가 문헌에 언급된 것은 1120년으로, 도시가 기독교 세력의 손에 넘어간 뒤 32년 만이다. 이 시기에 카스티야 이 레온의 알폰소 6세가 남쪽의 두에로 강으로부터 톨레도와 그 너머까지 내려가 영토를 재정복하고 있었다. 그러나 고고학적 증거자료들은 이 알카사르가 있던 자리가 과거 로마 시기에 요새로 사용되었음을 보여준다.

알카사르의 모습은 알폰소 8세(1155년 ~ 1214년) 시절까지 알려진 바가 없었으나 이른 시기의 서류들에서는 알카사르의 나무로 된 목책에 대해 언급하고 있다. 이로써 알폰소 8세의 통치 이전에 이것은 로마 시대의 기초 위에 세워진 나무 요새에 지나지 않았다는 결론을 내릴 수 있을 것이다. 알폰소 8세와 그의 부인인 플란타지네트 왕가의 엘레노어는 이 알카사라를 그들의 궁전으로 삼기로 결정했고 오늘날 우리가 보고 있는 돌로 만든 요새를 위한 수많은 작업이 이루어졌다.

알카사르는 중세시대를 통틀어 카스티야 왕가가 가장 좋아하는 궁성이었으며 왕국을 방어하기 위한 주요 요새였다. 현재 건물의 대부분이 이 시대에 만들어진 것이며 왕궁은 트라스타마라 왕조 시절에 광범위하게 확장되었다.

1258년에 알카사르의 일부가 붕괴되면서 카스티야의 알폰소 10세 때 재건이 이루어질 수 밖에 없었고, 얼마 후 왕들의 홀이 의회 건물로 건축되었다. 그러나 알카사르를 지속적으로 건축하던 한 사람이었던 후안 2세는 새로운 탑을 건설했고 그것이 현재 알려진 후안 2세 탑이다.

1474년에 카스티야의 이사벨라 1세의 즉위식을 위한 주요 장소로 역할을 했다. 12월 12일에 헨리 4세가 마드리드에서 죽었다는 소식이 세고비아로 전해졌고 이사벨라는 그 즉시 자신을 보호해줄 안들스 카브레라와 세고비아 평의회를 찾아가 알카사르의 벽 안으로 피난하였다. 그녀는 다음날 카스티야 이 레온의 여왕으로 즉위했다.

다음번 개축은 펠리페 2세가 오스트리아의 안나와 결혼한 이후, 이루어졌다. 그는 중부 유럽의 궁전을 모방하여 슬레이트로 된 뾰족한 첨탑을 추가하였다. 1587년에 건축가 프란시스코 데 모라가 중앙 정원과 La Escuela de Honor를 완성했다.

궁전은 최종적으로 마드리드로 옮겨갔고 알카사르는 이후 2세기 동안 감옥으로 이용되다가 카를로스 3세 때인 1762년에 이 곳에 왕실 포병 학교를 세우면서 변화하였다. 포병 학교로서의 기능은 거의 100년간 지속되었으나 1862년 3월 6일 큰 화재가 일어나 천장과 뼈대가 크게 손상되고 말았다.

1882년이 되어서야 건물은 천천히 그 본모습을 되찾기 시작했다. 1896년에 알폰소 13세는 알카사르를 국방부에 사관학교로 넘겨주었다.