O templo foi construído por volta de 1250 pelo Rei Langula Narasimha Dev (1238-1264 ou 1282), da Dinastia Ganga, com as obras supervisionadas pelo arquiteto-chefe Bishu Maharana. No século XVI o templo foi parcialmente destruído pelo general afegão Kalapahad, um hindu converso ao Islamismo, que invadiu o então reino de Orissa em 1508 e atacou diversos outros edifícios sagrados da região. As imagens dos deuses foram depredadas e a grande torre teve seu arco de sustentação deslocado, causado seu colapso e danificando as outras estruturas do entorno.

Contudo, diz a tradição que os sacerdotes de Konarak conseguiram esconder a estátua principal da deidade e a enterraram na areia, onde teria permanecido por anos, e mais tarde teria sido de lá retirada e levada para o templo de Indra no complexo de Jagannath. Alguns consideram que a imagem jamais foi encontrada, e outros afirmam que uma estátua de Surya mantida no Museu Nacional de Delhi é aquela perdida. De qualquer forma o culto a Surya encerrou com a remoção de sua imagem do templo, e com isso a cidade entrou em decadência, sendo abandonada e envolvida pela selva. Posteriormente o complexo foi espoliado em diversas ocasiões para utilização de seu material em outros edifícios, e no século XVIII estava desprovido da maior parte dos adornos que podiam ser removidos. Até o início do século XIX as ruínas do templo estavam cobertas de entulho e areia, o que de certa forma preservou os remanescentes da rica decoração que hoje apresenta.