Op de plek van het huidige bronzen beeld bevond zich daarvoor een uit hout gesneden boeddhafiguur, geplaatst in een houten schrijn. De eerste plannen voor de bouw van een bronzen boeddhabeeld dateren uit 1236, tijdens de heerschappij van Hojo Yasutoki, toen priester Toe no Joko er donaties voor inzamelde, zo blijkt uit documenten uit die periode. In 1252 begon de bouw van het beeld van de Shaka-Nyorai-boeddha door beeldhouwers Ōno-Gorōemon en Tanji-Hisatomo. Oorspronkelijk was het beeld belegd met bladgoud en bevond het zich in een houten tempelgebouw van 44 bij 42,5 meter. In 1334 stortte dit gebouw echter in en in 1369 opnieuw, waarna het tot aan de fundamentmuren werd weggespoeld door de tsunami van 20 september 1498, in de Muromachiperiode.[1] Daarna staakte men de pogingen tot de bouw van een tempel en verbleef het standbeeld eeuwenlang in de open lucht. De fundamenten van de tempel bleven echter liggen en in 1879 werd opnieuw gepoogd door het inzamelen van geld een tempelgebouw op te richtten, maar dit plan werd opgegeven in 1889 en het geld werd vervolgens besteed aan het vergroten en verfraaien van het terrein. De fundamenten van de tempel bleven nog liggen tot begin 20e eeuw. Van 1960 tot 1961 vonden renovatiewerkzaamheden plaats aan het beeld; de nek werd verstevigd en er werden maatregelen genomen om het beeld beter te beschermen tegen aardbevingen.

De eerste Westelijke reisverhalen over de Kōtoku-in dateren uit de vroege 17e eeuw, toen eerst in 1607 een zekere pater Rodrigues de plek bezocht en in 1618 een Britse kapitein, Saris genaamd.

Het standbeeld wordt vermeld als "De Boeddha in Kamakura" in verschillende verzen in het voorwoord van de roman Kim van Rudyard Kipling uit 1901; verzen uit een gedicht dat de schrijver zelf schreef na een bezoek aan Kamakura in 1892.[2] Het gedicht is ook in zijn geheel opgenomen in het boek The Five Nations uit 1903.[2]

Het standbeeld komt eveneens voor in het verhaal "Ook de keerzijde heeft zijn keerzijde of de zaak van het marmeren monster" in het boek De rechter onder de magnolia uit 1969 van de Nederlandse schrijver Bertus Aafjes.