Tempat ini telah menjadi situs permukiman semenjak Zaman Perunggu dan keberadaan batu ini sendiri pertama kali disebutkan dalam sebuah dokumen dari tahun 860 yang dikeluarkan oleh Ludwig si Jerman, Raja Francia Timur, yang menyumbangkan beberapa harta bendanya di bekas wilayah Karantania kepada Uskup Agung Salzburg. Batu ini lalu dinamai ‘Astarwiza’[1] yang merupakan nama Slavia. Tempat ini dikuasai oleh Salzburg hingga abad ke-11 ketika Uskup Agung Gebhard dari Salzburg memutuskan untuk menyerahkan kastel ini kepada keturunan Graf Siegfried dari Sponheim sebagai balas jasa atas dukungan mereka selama Kontroversi Penahbisan. Setelah cucu Siegfried yang bernama Heinrich IV menjadi Adipati Kärnten pada tahun 1122, penguasa Sponheim dapat melepaskan diri dari cengkeraman Salzburg.