Vse do leta 1784 je na griču stal mariborski zgornji grad - Marchpurg oziroma Marburg. Prvič je bil omenjen leta 1164 v 12. stoletju. V prevodu pomeni Marburg grad v marki ali mejni grad. Zgradili so ga zato, da bi se obvarovali pred Madžari, ki so takrat napadali naše kraje. Leta 1528 je grad pogorel. Okoli leta 1560 so ga obnovili v renesančnem stilu, nato pa do leta 1790 porušili. Iz ostankov materiala so postavili kamnito piramido, ki je dala griču tudi ime. Od gradu pa sta ostala okop s strmim nasipom in vodnjak brez venca. Vrh okopa stoji klasicistična kapela iz leta 1821 s kamnitim Marijinim kipom. Napis na spominski plošči v kapeli priča o tem, da je prvotno piramido leta 1821 uničila strela, grof Henrik Brandis pa je dal postaviti kapelo v spomin na lokacijo starega gradu. Grič so pred imenom Piramida imenovali različno: od »mons castri« do »der Purgperg« v 13. in 14. stoletju.

Še danes vidimo na Piramidi jame, luknje, itd., ki so jih izkopali ljudje iz tistih časov.