Nach dem Bau der Burg Ortenberg durch die Zähringer im 11./12. Jahrhundert wurde die Burg während der Hohenstauferherrschaft als Sitz der Landvögte der Ortenau genutzt. Der Verwaltungssitz für die Landvogtei Ortenau war Reichssteuermittelpunkt, Gerichtsstätte und Zollinstanz.

Erste Erweiterungen hat die Burganlage im 15. Jahrhundert erfahren, als die Burg um die Verteidigungstürme (Rondeln) mit Kanonen erweitert wurde. Die erste Zerstörung hat die Burg 1678 im französisch-holländischen Krieg erfahren, als Ludwig XIV. die Burg durch Marschall François de Créquy zerstören ließ. Nach einem Wiederaufbau in den Folgejahren wurde die Burg 1697 erneut zerstört. Als Folge dieser erneuten Zerstörung wurde der Amtssitz der Landvögte fortan vom Landvogt Franz de Neveu nach Offenburg verlegt.

Das heutige Schloss entstand 1838–1843 durch Baron Gabriel Leonhard von Berckholtz (1781–1863) aus Livland, der es im englischen Stil auf den mittelalterlichen Ruinen durch Friedrich Eisenlohr wieder aufbauen ließ. Die Bauleitung übertrug er seinem Schüler Georg Jakob Schneider. Ein nachfolgender Besitzer war Theodor von Hirsch (1838–1916) aus der bayerischen Bankiersfamilie der Freiherren von Hirsch.

Seit 1942 wird das Schloss als Jugendherberge genutzt.[1] Weitere Bauinstandsetzungsmaßnahmen zur Erhaltung der Bausubstanz folgten in den Jahren 1974–1981. In den Jahren 1984–1985 wurde der Malerturm restauriert. Der Schimmel- und Jakobsturm folgten in den Jahren 1986–1988.

Es wurde von der Denkmalstiftung Baden-Württemberg zum „Denkmal des Monats Februar 2010“ ernannt.