قلعه اصلی یک برج رومی است که در حدود سال ۱۲۰۰ ساخته شده‌است. Hausmannsturm در ابتدای قرن پانزدهم ساخته شد. از ۱۴۶۸ تا سال ۱۴۸۰ به وسیله سازنده اصلی، آرنولد فون وستفلن گسترش یافت و به ساختمانی سرپوشیده چهار جهته تبدیل شد. در اواسط قرن ۱۶، اضافاتی به سبک رنسانس افزوده شد.

پس از آتش‌سوزی بزرگی در سال ۱۷۰۱، آگوستوس دوم قدرتمند، قسمت اعظمی از قلعه را در سبک باروک بازسازی کرد.[۱] اتاق‌های کلکسیون در این زمان در قسمت بالایی ساخته شده‌اند. اتاق نقره‌ای، اتاق هرالد و Pretiosensaal ساخته‌شده از ۱۷۲۳–۱۷۲۶ بود و Kaminzimmer , Juwelenzimmer (اتاق جواهر)، اتاق عاج و اتاق برنز از ۱۷۲۷–۱۷۲۹ ساخته شده‌است.[۱]

هشتصدمین سالگرد دودمان وتین، خانواده حاکم ساکسونی تصمیم به بازسازی بنا بین سال ۱۸۸۹ و ۱۹۰۱ بازسازی شد. یک بازسازی نئو رنسانس به عهده گرفته شد که به دنبال آن مدرنیزاسیون‌های مختلفی نظیر گرمایش در کف و چراغ‌های الکتریکی در سال ۱۹۱۴ صورت گرفت.[۱] در خارج از حیاط خلوت (Stallhof)، که مجموعه قلعه را به با یوهانوم وصل می‌کند، نقاشی «شفاعت از شاهزادگان» توسط هنرمند ویلهلم والتر نقاشی شده‌است. نقاشی دیواری ۱۰۲ متری طول عمر نشان دهنده تاریخچه وتین است. از آنجایی که به سرعت از کهنه می‌شدند، بین سالهای ۱۹۰۴ و ۱۹۰۷ به حدود ۲۳٬۰۰۰ کاشی چینی از میسن منتقل شد.

در طول بمباران ۱۳۴۹ در فوریه ۱۹۴۵ در جنگ جهانی دوم، بیشتر قلعه به یک پوسته بدون سقف کاهش یافت. سه اتاق از گرین والت نابود شدند. با این حال در سال‌های اولیه جنگ کلکسیون‌هایی که سالم ماندند، به‌طور امن به قلعه Königstein منتقل شدند.[۱]

برای ۱۵ سال اول پس از پایان جنگ جهانی دوم هیچ تلاش برای بازسازی قلعه انجام نشد، مگر اینکه یک سقف موقت در سال ۱۹۴۶ نصب شود. ترمیم در دهه ۱۹۶۰ با نصب پنجره‌های جدید آغاز شد و پس از آن زمان به سرعت در حال رخ دادن است. بازسازی قلعه در حال انجام است و بخشی از آپارتمان‌های دولتی در سپتامبر ۲۰۱۹ بازگشایی می‌شود.[۲]