Questa porta faceva parte della fortificazioni medievali e sorvegliava l'accesso occidentale della città. Originariamente era chiamata Neuhauser Tor, ma nel 1791 venne chiamata Karlstor in onore di Carlo Teodoro, che decise di far abbattere le vecchie mura per permettere l'espansione della città. Oltre alla porta, al principe è dedicata anche la piazza che si trova oltre la stessa, chiamata Karlsplatz (i monacensi la chiamano Stachus). In origine la porta aveva tre torri : la centrale, che era anche la più alta, venne abbattuta nel 1861 a seguito dell'esplosione di un deposito di polvere da sparo al suo interno. Nello stesso anno iniziarono i lavori di ricostruzione della porta in stile neogotico, su progetto di Arnold Zenetti.
Le figure in bronzo che ornano le arcate, provengono dalla vecchia Fischerbrunnen posta nella Marienplatz.