Die Burg wurde vermutlich um 1250 von dem Tiroler Adelsgeschlecht der Taranten erbaut; gesichert ist die Erbauung der ältesten Teile zumindest für das 13. Jahrhundert. Im Jahr 1421 erwarb der spätere Brixner Bischof Ulrich Putsch die Burg.[1] Um 1900 wurde die Burgruine von dem deutschen Industriellen Karl Schwickert aus Pforzheim im historisierenden Stil wiederaufgebaut. Nach dem Zweiten Weltkrieg erwarben sie Mary und Boris de Rachewiltz.

Mary de Rachewiltz ist die Tochter des amerikanischen Dichters Ezra Pound und der Violinistin Olga Rudge. Pound verweilte von 1958 bis 1962 auf der Brunnenburg und schrieb dort die letzten seiner 120 „Cantos“, sein Hauptwerk.