După Bătălia de la Cajamarca, în timpul Conquistei Spaniole, Francisco Pizarro l-a trimis pe Martin Bueno și alți doi spanioli să transporte, la baza spaniolă din Cajamarca, aur și argint din Templul numit Coricancha.[1]:228–230 Au găsit Templul Soarelui "acoperit cu plăci de aur", pe care spaniolii le-au smuls drept plată pentru răscumpărarea lui Atahualpa. Șapte sute de placi au fost desprinse, care s-au adăugat la cele două sute de cargas (încărcături) de aur transportate înapoi la Cajamarca. Mumiile regale, drapate în largi mantii și așezate în scaune acoperite cu aur, au fost lăsate acolo. Dar, în timp ce profanau templul, trei bărbați de-ai lui Pizarro, au prihănit și  Fecioarele Soarelui.[2]:192–193

În urma asediului orașului Cuzco, spaniolii au început să folosească Sacsayhuaman ca o sursă de pietre pentru construirea unui Cuzco spaniol. Situl a fost distrus de bloc cu bloc pentru a construi noul orașul colonial. Garcilaso de la Vega (pe la 1609) spune: "pentru a scuti cheltuieli, efort și timp, au dărâmat îparte mai ușoară a zidăriei. De fapt, nu există casă în oraș care nu fi fost făcută din această piatră, sau cel puțin casele construite de spanioli." Astăzi, doar pietrele care erau prea mari pentru a fi usor de mutat au rămas.