Na území současného města byla objevena řada keltoiberských hradů a zbytky městských hradeb. Roku 192 př. n. l. dobyli území Římané a založili zde město Toletum, které díky těžbě železné rudy rostlo a bohatlo. Z bohatých vil a akvaduktu se zachovaly jen vykopávky. Koncem 5. století dobyli Toledo Vizigóti a v letech 531 až 711 bylo hlavním městem Vizigótské říše a sídlem arcibiskupa. O významu města svědčí, že v letech 400-702 se zde konalo 19 církevních koncilů, koncilu v roce 633 předsedal Isidor ze Sevilly. Roku 712 dobyli město Maurové a v období Córdobského chalifátu město jako Tulatula opět prosperovalo. Roku 1085 je dobyl Alfons VI. Kastilský a město se stalo residencí králů Kastilie až do roku 1561, kdy král Filip II. Španělský přesídlil do Madridu.

Od římských dob se v Toledu těžila železná ruda a vyráběly kvalitní zbraně. Výroba toledských mečů dosáhla vrcholu v maurském období a v pozdním středověku. Od raného středověku se zde stýkaly různé kultury i jazyky, mísily se tu prvky křesťanské, židovské a arabské kultury a od 12. století se stalo střediskem překládání arabských a antických autorů do latiny (Gerard z Cremony a další). V letech 1577-1614 zde žil a pracoval malíř El Greco, koncem 16. století však město ztrácelo na významu a upadalo.

Za španělské občanské války se město stalo dějištěm prudkých bojů mezi republikány a frankisty. Frankističtí povstalci se nakonec uzavřeli v Alcázaru, kde se sedmdesát dnů bránili až do příchodu jednotek generála Franca.