현재의 마드리드가 선사시대 이래 줄곧 사람이 살고 있었던 것으로 보이지만 로마 시대 때 이 지역은 그리스도교의 관구에 속해있기도 했다. 9세기 이르러서야 마드리드는 역사에 처음으로 등장한다. 무함마드 1세가 지금의 마드리드 왕궁인 작은 궁전을 짓도록 명한 것이 그것이다. 궁전 주위에 작은 성곽인 알무다이나(스페인어: al-Munaina)가 지어졌다. 이 요새는 1085년 카스티야 왕국의 알폰소 6세에 의해 점령되었으며 교회와 모스크를 세우면서 이 지역 일대를 신격화하였다. 1329년 스페인에 처음으로 의회 제도가 도입되었다. 스파라드 유대인과 무어인은 15세기 말엽 추방될 때까지 마드리드에 상주했다.

톨레도를 수도로 했던 카스티야 왕국과 사라고사를 수도로 한 아라곤 왕국은 가톨릭 왕국으로 통합하여 근대 스페인을 건설하게 된다.(카스티야의 이사벨 1세와 아라곤의 페르난도 2세) 두 사람의 손자였던 카를로스 1세가 마드리드를 좋아했지만 정작 마드리드로의 천도가 이루어진 것은 1561년이었으며 카를로스의 아들이었던 펠리페 2세대에 이루어졌다. 그가 어떠한 공식 선언도 하지 않았지만 왕좌가 있다는 그 사실이 수도가 되었음을 입증하였다.

황금의 세기, 즉 16-17세기 동안 마드리드는 여타 유럽 수도들과는 다른 모습을 보였으며 거의 궁정의 사업에 경제를 의지했기 때문에 특별한 역사적 활동을 하지는 않았다.

19세기 후반이 되자 이사벨 2세는 더 이상 정치적 긴장 상태를 통제할 수 없게 되고 계속된 반란과 폭동에 스페인 전역이 휩싸이며 최초의 스페인 공화국이 탄생한다. 처음의 공화국은 다시 군주제로 바뀌었으며 이후에 다시 스페인 공화국이 들어선다. 그러나 곧 스페인 내전으로 번지게 된다.

마드리드는 내란으로 가장 많은 피해를 겪은 곳이었으며 시의 거리들 곳곳이 전쟁터가 되었다. 마드리드가 1936년 7월 공화파의 근거지가 되면서 서쪽의 교외만이 1936년 11월부터 전쟁터로 직접적인 피해를 보게 된다. 스페인 내란 동안에 마드리드는 비행기로 폭탄 세례를 당한 최초의 도시가 되었으며 다수의 시민들이 피해를 입었다.

프란시스코 프랑코의 독재기간 특별히 1960년대에는 마드리드 남부 지역이 극도로 산업화에 돌입하게 되어 다수의 농민들이 도시로 이동하게 된다. 마드리드의 남동쪽이 노동자 계층의 거주지가 되었고 또한 정치적, 문화적 개혁의 장소가 되었다.

독재자 프랑코가 죽자 민주주의 세력은 프랑코의 바람에 따라 후안 카를로스 1세가 통치권을 계승하도록 한다. 이후 스페인은 헌법상 입헌군주제를 택한 곳이 되었으며 마드리드를 수도로 하게 된다.

2004년 3월 11일, 마드리드는 테러리스트의 공격을 받는다. 테러리스트들은 시민들이 붐비는 러시아워를 이용하여 기차에 폭탄을 여러 개로 설치하였다. 그 날은 사실 스페인 총선 3일 전이었으며 이로 인한 피해는 1939년 내란 이후 가장 심각했다. 마드리드는 2006년 12월 3일 또 다시 테러리스트들의 공격을 받았으며 그 타켓은 마드리드 바라하스 국제공항의 터미널 4였다.