Vietovė apgyvendinta vėliausiai neolite, vėliau buvo keltų centru, tačiau II a. pabaigoje vietovė apleista persikeliant į aplinkines kalvas.

XII a. šioje vietoje, kur buvo įsikūrusi įtvirtinta slovakų gyvenvietė, pastatyta pilis. Ji buvo politinis, administracinis, ekonominis bei kultūrinis Spiš grfystės, priklausančios Vengrijos karalystei, centras. Iki 1464 metų priklausė eilei Vengrijos valdovų (karalių), vėliau (iki 1528 metų) Jonas Zápolja (Zápoljų šeima), Thurzo šeima (1531-1635), Csáky'ių šeima (1638-1945), ir nuo 1945 metų ji priklauso valstybei (Čekoslovakijai, nuo 1993 metų Slovakijai).

Antroje XIII amžiaus pusėje buvo pastatyta pradinė romaninio stiliaus akmeninė pilis su fortifikacijomis, dviejų aukštų romaninio stiliaus rūmai ir trijų navų romaninio-gotikinio stiliaus bazilika. Antra priepilio gyvenvietė buvo pastatyta XIV amžiuje, taip pilies plotas padvigubėjo. Pilis buvo pilnai perstatyta XV amžiuje; pilies sienos paaukštintos ir trečiasis priepilis pastatytas. Vėlyvosios gotikos koplyčia buvo pastatyta apie 1470 metus. Zápolya'jų šeima viską atnaujino pgala vėlyvosios gotikos stilių, kas pavertė aukštutinę pilį į patogią šeimos rezidenciją, tipinę XVI - XVII amžiaus vėlyvojo renesanso rezidenciją. Paskutiniai Spišo pilies šeimininkai Csáky'ių šeima apleido pilį XVIII amžiuje, kadangi manė, kad pilis nėra patogi gyventi. Jie persikėlė į naujai pastatyto kaimo pilį/rūmus Hodkovce ir Spišský Hrhov'e. 1780 metais pilis sudegė, ir nuo tada likę tik jos griuvėsiai. Dalį pilies rekonstravo antroje XX amžiaus pusėje, buvo pradėti intensyvūs archeologiniai tyrinėjimai toje vietovėje. Rekonstruotoje pilies dalyje dabar įsikūręs Spišo muziejus.