Romalı tarihçi Livius eski bir yerleşme olan Toledo'dan küçük, ama konumu açısından müstahkem bir kent olarak söz eder. Yunan ya da Fenike kökenli olan Toledo, MÖ 193'te Romalı general Marcus Fulvius Nobilior tarafından fethedildi ve Romalılaştı; Toletum adını alan kent, zamanla önemli bir Roma kolonisi ve Carpentia'nın merkezi oldu.

6. yüzyılın ikinci yarısında, 554'e doğru Athanagild buraya yerleşince, Vizigotlar'ın gerçek tinsel başkenti durumuna geldi. Ariusçu Kral Recaredo kentte toplanan bir konsil sırasında Hristiyanlığı benimsedi (589).

711'de Müslüman Araplar'ın eline geçen kent, ayrıcalıklarını Córdoba'ya kaptırdı. Tuleytule olarak anıldığı Magripliler döneminde (712-1085) kentte önemli bir Mustarib (Arapça konuşan Hristiyanlar) topluluğu yaşıyordu. Çok geçmeden, İslama karşı bir direniş ve ulusal bağımsızlık merkezi durumuna geldi ve bu durum kanlı bastırmalara, özellikle 797 bastırmasına yol açtı. 10. yy başında, yaklaşık elli yıl boyunca özerk bir Arap devletine merkezlik etti. Ülkeye egemen olan Emeviler, belediyecilik, kültür ve iktisat alanında (toledo deri ve çelikleri) kentin gelişmesine katkıda bulundular.

11. yüzyılın başında, Córdoba halifesi güçsüzlüğünü belli edince, 1085'te León ve Castilla kralı VI. Alfonso Toledo'yu fethetti. Toledo bu tarihten sonra Kastilya'nın en önemli siyasal ve toplumsal merkezi haline geldi. Aynı dönemde kentte Hristiyan, Arap ve Yahudi kültürleri arasında bir kaynaşma yaşandı. Bunun en iyi örneği X. Alfonso'nun (Akıllı) 13. yüzyılda kurduğu Çevirmenler Okulu'ydu. Özellikle kentin çevirmenler okulu, Arap bilim ve felsefesiyle Yunan felsefesinin bir bölümünün Avrupa'da tanıtılmasını sağladı. Toledo dört yüzyıl boyunca, İber Yarımadası'nın kültür ve din merkezi işlevini sürdürdü. Ancak, 16. yüzyılda Comunero Ayaklanmaları ve bu ayaklanmaları bastırmak için yapılanlar kenti güçten düşürdü. Kral II. Felipe'nin Madrid'i başkent yapmasından (1560) sonra Toledo'nun önemi azaldı.

Bunun üzerine ve imperial y coronada kenti unvanına karşın, Toledo artık bir sanat kenti ve hayvancılıkla ipek üretimine yönelik geniş bir bölgenin merkezi olmaktan öteye gidemedi. 1803-1813 arasında Fransızlar tarafından işgal edildi. Alcázar de Toledo savunması (22 Temmuz-28 Eylül 1936), İspanya İç Savaşı'nın çarpıcı olgularından biridir.