Քաղաքի տարածքում մշտական բնակություն հաստատած առաջին մարդիկ հաստատվել են ամրոցներում, որոնք կառուցվել են կելտիբերների շրջանում։ Մ. թ. ա. 192 թվականին հռոմեացի Մարկ Ֆուլվիա Նոբիլիորը հաղթահարել է այստեղ ապրող կարպետաններ ցեղերի համառ դիմադրությունը և հիմնադրել Տոլետում ամրոցը։ Տոլեդոյի մոտակայքում հայտնաբերված երկաթի հանքերի շնորհիվ` քաղաքը դարձել է ազդեցիկ բնակավայր, որը հատել է սեփական դրամ։ Պեղումների արդյունքում հայտնաբերված շքեղ տները վկայում են ռոմանական բնակավայրի մասին, որն ունեցել է իր ջրանցույցը, որը ներկայումս ամբողջովին ավերված է[1][2]։

Բարբարոսների առաջին հարձակումներից հետո ամրոցի անտիկ պատերն ամրացվել են։ 411 թվականին քաղաքը կարճ ժամանակով գրավել են ալանները։ 418 թվականին այն անցել է վեստգոթերին` նրանց մայրաքաղաքը մնալով մինչև 711 թվականը[3][4]։ Այս ընթացքում Տոլեդոն դարձել է կաթոլիկ արքեպիսկոպոսության կենտրոն։ Միջին դարերում Տոլեդոյի արքեպիսկոպոսները ունեցել են սեփական զորք և մասնակցել են Ռեկոնկիստային ու իսպանացի արքաների ռազմական այլ գործողությունների։

712 թվականին վեստգոթերի պետության մայրաքաղաքը նվաճել են մավրերը։ Տոլեդո քաղաքի բարգավաճումը կապվում է հենց նրանց տիրապետության շրջանի հետ (քաղաքն այս ընթացքում ստանում նոր անուն` Տոլայտոլա)[5]։ Ալֆոնսո VI Քաջը քաղաքը նվաճել է 1085 թվականի մայիսի 25-ին։ Այս ժամանակ Տոլեդոն հայտնի էր իր թրերով ու մետաղից պատրաստվող այլ առարկաներով։

Տոլեդոն դարձել է Կաստիլիայի թագավորների նստավայրերից մեկը` այդպիսին մնալով մինչև 1561 թվականը, երբ Ֆիլիպ II-ը մայրաքաղաքը տեղափոխել է 71 կմ հեռավորության վրա գտնվող Մադրիդ քաղաք, որը գտնվում էր Պիրենեյան թերակղզու ճիշտ կենտրոնում և գրեթե նույն հեռավորությունն ուներ բոլոր նավահանգիստներից[6]։ Տոլեդոն շարունակում էր մնալ հավատի կենտրոն։

 

Տոլեդոյի տեսքը` Ալկասարով ու տաճարով

1936 թվականի հուլիսի 20-ին գեներալ Ֆրանկոյի հազարավոր կողմնակիցներ մի քանի հարյուր քաղաքացիական անձանց հետ` ներառյալ կանայք և երեխաներ, ամրանում է Տոլեդոյի ամրոցում։ Նրանց դեմ կիրառվում է ծանր հրետանի և ավիացիա, սակայն ռազմական ուսումնարանի ուսանողները գնդապետ Մոսկարդոյի գլխավորությամբ մոտ 70 օր պաշտպանում են Ալկասարը հանրապետական ուժերի հարձակումներից, մինչև ազգայնականներին նոր ուժեր են օգնության հասնում։ Ռազմական գործողությունների ընթացքում գնդակահարվում է գնդապետի որդին, ում հանրապետականները պատանդ էին վերցրել, իսկ շինությունն ավերվում է` բացառությամբ հարավային պատի։ Այդ ժամանակից սկսած` ազգայնականների կարգախոսն է դառնում «Ալկասարը չի հանձնվում» միտքը։ Գեներալ Խոսե Վարելայի` օգնության հասած ուժերը հետ են մղում հանրապետականներին` դաժան հաշվեհարդար տեսնելով քաղաքի բնակչության հետ[7][8],: Ֆրանկոյի տիրապետության տարիներին երկրի պատմությունը միակողմանի է ներկայացվել։ Հետագայում այս տեղում ստեղծվել է ռազմական թանգարան, որը պատկերացում է տալիս կատարված իրադարձությունների մասին։