Từ 1285 cho tới 1347 một bức tường thứ 2 được dựng lên ở München trong chương trình mở rộng thành phố, Karlstor, lúc đó được gọi Neuhauser Tor, được hình thành. Karlstor được nhắc tới trong văn kiện lần đầu tiên vào năm 1302. Năm 1791 hai tháp ở hai đầu cổng được xây lại bởi Graf Rumford, hồi đó chỉ huy quân đội Bayern của tuyển hầu tước (Kurfürst) Karl Theodor. Trong năm đó cổng Neuhauser được đổi tên thành Karlstor.

Karlstor bên cạnh cổng Isar và cổng Sendling là một trong 3 cổng thành phố mà còn tồn tại.