In het midden van de 15e eeuw veroverde en verwoestte de Inca keizer Pachacuti de stad Ollantaytambo. De stad en het nabijgelegen gebied werd bij zijn persoonlijke domein ingelijfd. De keizer herbouwde de stad, bouwde terrassen en legde irrigatiewerken aan in de Urubambavallei. Na zijn dood kwam het domein onder het gezag van zijn panaqa (familieclan).

Tijdens de Spaanse verovering van Peru diende Ollantaytambo als tijdelijke hoofdstad van Manco Inca, de leider van het imheemse verzet tegen de conquistadors. Hij versterkte de stad en de toegang tot de voormalige hoofdstad Cuzco, die in handen van de Spanjaarden was gevallen. Manco Inca versloeg een Spaanse expeditie in 1536 op de nabijgelegen Vlakte van Mascabamba, door de aanval vanaf hooggelegen terrassen te blokkeren en de vlakte onder water te zetten. Ondanks zijn overwinning, trok Maco Inca zich het jaar daarop terug in Vilcabamba, waar hij een Neo-Incastaat vestigde.

In 1540 werd de inheemse bevolking van Ollantaytambo als peonage onderdeel van de encomienda van Hernando Pizarro.

Vanaf de 19e eeuw begonnen de ruïnes van Ollantaytambo de aandacht te trekken van buitenlandse onderzoekers.