La construction a débuté en 1922 et a eu un coût estimé entre 1,5 et 2,5 millions de dollars. Prospecteur et escroc, Walter. E Scott est né à Cynthiana, Kentucky. Il convainquit le millionnaire Albert Mussey Johnson (en) d'investir dans sa mine d'or située dans la zone de la Death Valley. Bien qu'en colère lorsque Albert Mussey Johnson découvrit que la mine d'or était une escroquerie, il fut fasciné par le personnage de Walter. E Scott et une amitié incongrue se noua. En 1937, Albert Mussey Johnson avait acquis plus de 1500 acres (environ 610 hectares) dans Grapevine Canyon.

Après plusieurs voyages dans la région avec sa femme et une amélioration notable de son état de santé, la construction commença. L'idée de construire une demeure confortable pour leurs vacances dans la région fut inspiré par la femme d'Albert Mussey Jonhson.

Le couple Johnson embaucha l'architecte Martin de Dubovay, l'ingénieur Mat Roy Thompson comme chef de travaux et Charles Alexandre MacNeilledge comme décorateur.

La construction commença au mauvais emplacement. Les terres détenues par le couple Johnson se situaient plus haut dans Grapevine Canyon. Les travaux avaient débuté sur des terres appartenant à l'état. La construction s’arrêta donc afin de résoudre cette erreur, néanmoins entre-temps le couple Johnson perdit une partie de sa fortune avec le krach boursier de 1929. Cela engendra des difficultés pour financer la fin des travaux. Le couple, sous les conseils de Walter. E Scott, décida de louer les chambres pour générer des revenus. Les Johnson moururent sans héritiers et avec l'espoir que le National Park Service achèterait la villa. Le National Park Service racheta la villa en 1970 à la fondation Gosepl Foundation, fondée par le couple Johnson en 1946 et héritière de la villa, pour 850 000$.

Walter. E Scott dirigea la fondation Gosepl Foundation après la mort des Johnson. Il mourut en 1954 et fut enterré sur la colline surplombant Scotty's Castle au côté de son chien adoré.