Pierwsza wzmianka o istnieniu grodu obronnego na Górze Fortecznej (Zamkowej) w Kłodzku pochodzi z relacji Kosmasa, czeskiego kronikarza. Należy sądzić, że był to zespół drewnianych budynków otoczonych palisadą – w takiej formie zdobył go i spalił czeski książę Sobiesław w roku 1114. Sobiesław odbudował gród w 1129 roku i osadził w nim kasztelana – Gronzatę[1].

Na przełomie XIII i XIV wieku roku gród został przebudowany, prawdopodobnie przez księcia Henryka IV Probusa, na warowny zamek. Był on siedzibą kolejnych przedstawicieli śląskiej linii Piastów, którzy władali ziemią kłodzką, Henryka VI Dobrego (1327–1335) i Bolka II ziębickiego (1337–1341)[2]. Za czasów Jerzego z Podiebradów zamek stał się komfortową rezydencją, stanowiącą okazałą siedzibę władcy hrabstwa kłodzkiego. W jej skład obok pomieszczeń mieszkalnych wchodziła kaplica oraz kościół św. Wacława i św. Marcina. Wodę czerpano z pięciu studzien, najstarsza studnia pochodziła z 1393 roku i zwana była Tumską, a najgłębsza – Piekarska, znajdowała się w 60-metrowym szybie[3].

W latach 1557–1560 architekt Ernest Lorenz Kirschke rozbudował twierdzę o zamek średni i niższy. One to, wraz z zamkiem wyższym i fortyfikacjami miasta, stanowiły zespolony w jedno system obronny.

W 1622 roku po bitwie na Białej Górze wojska cesarskie opanowały miasto. Ich działania spowodowały wiele szkód, między innymi konieczność rozbiórki kolegiaty, grożącej zawaleniem oraz budynków warowni. Po opanowaniu miasta dalsze prace nad rozbudową umocnień prowadził w latach 1690–1702 Jacopo Carove. Średniowieczne mury zastąpiono kurtynami i bastionami. Na zlecenie Habsburgów wzniesiono wtedy trzy bastiony: Jabłonki, Ludmiły i Wacława. Były one podstawą umocnień twierdzy, tworzyły tzw. dzieło koronowe, osłaniające Górę Forteczną od północy i wschodu. Natomiast od południa i zachodu wybudowano bastiony Alarmowy i Dzwonnik oraz półbastion Orzeł. Kompleks tych umocnień otaczał położony na szczycie zamek, był on częściowo dostosowany do systemu umocnień. Bastiony zostały osłonięte rawelinami – Polnym i Jabłonką oraz fosą. Tym samym odbudowano i zmodernizowano zamek nadając mu bardziej współczesny kształt[1].

W 1742 roku twierdza poddana została Prusakom, którzy zajęli tereny hrabstwa kłodzkiego w konsekwencji pierwszej wojny śląskiej.

Plany Fryderyka II obejmowały umocnienie nowo zdobytych terenów poprzez budowę twierdz i warowni. W ten sposób powstała cała linia umocnień: Szczecin, Głogów, Wrocław, Świdnica, Srebrna Góra, Kłodzko, Nysa. Tak więc za panowania Fryderyka II rozbudowano i ufortyfikowano ją znacząco, na pierwszy plan wysuwając jej obronny charakter. W roku 1743 fortyfikator, znawca francuskiej szkoły fortyfikacyjnej, generał Gerhard Cornelius de Wallrave, sporządził nowe projekty dla miasta Kłodzka. Na początku pracami kierował Walrave, który jednak popadł w niełaskę i zastąpiony został przez pułkownika inżyniera Friedricha Christiana von Wredego. W tym okresie powstał też jako fort pomocniczy fort na Owczej Górze. Przebudowa nasiliła się jeszcze po okresie wojen śląskich (1770 rok) – rozebrano wówczas resztki zamku mieszkalnego, kaplicy i kościoła, w którego miejscu pod kierunkiem pułkownika Ludwiga Wilhelma von Reglera(inne języki) (ówczesnego komendanta twierdzy) zbudowano ogromny donżon[1].

Twierdza Kłodzka odegrała ważną rolę w czasie obrony Śląska w pruskiej kampanii Napoleona (1806–1807). Głównodowodzącym wojsk francuskich oraz regimentów Związku Reńskiego (złożonych z oddziałów bawarskich i wirtemberskich) w walce o Śląsk był Hieronim Bonaparte. Po kapitulacji Nysy w rękach pruskich pozostawała jeszcze ziemia kłodzka z dwiema twierdzami w Kłodzku i Srebrnej Górze. Dowodzący siłami pruskimi generalny gubernator Śląska hr. Friedrich Wilhelm von Götzen mł.(inne języki) miał do dyspozycji ok. 10 000 ludzi. Załoga Kłodzka liczyła ok. 4070 żołnierzy. Kłodzko stało się główną bazą wypadową ruchomych kolumn Götzena. Twierdza była rozbudowywana i unowocześniana przez niemal cały czas pozostawania w rękach pruskich. Fortyfikacje były poprawiane nieomal do ostatniej chwili. Np. już po rozpoczęciu wojny w 1806 roku rozpoczęto prace nad rozbudową chodników minerskich. Prace te trwały jeszcze w 1807 roku przed pojawieniem się wojsk IX Korpusu. Na południowym i południowo-wschodnim przedpolu twierdzy zbudowano obóz warowny. Od strony Nysy Kłodzkiej warownię osłaniały fortyfikacje Owczej Góry. Po opanowaniu przez gen. Charles’a Lefebvre’a-Desnouttes’a 18 marca Złotego Stoku, Götzen zorganizował wypad w celu odbicia miasta. Następnego dnia pod Jaszkową Dolną drogę zagrodziły mu oddziały bawarskie. Walka zakończyła się zwycięstwem Bawarów. W dniu 13 kwietnia oddziały pokonały oddział pruski w potyczce pod Kłodzkiem. Kilka dni później, 17 kwietnia Götzen zorganizował duży wypad (2800 piechoty, 300 jazdy i 18 dział), jednak nie udało się rozbić wojsk gen. Lefebvre’a-Desnouttes’a, ale też oddziały pruskie nie zostały rozbite i w porządku wycofały się do twierdzy. Nastąpiło wzmocnienie garnizonu twierdzy. W dniu 14 czerwca ze Srebrnej Góry przybyło w sumie 416 żołnierzy piechoty i 165 jazdy oraz 4 armaty i 1 haubica. Po zdobyciu Nysy i podpisaniu kapitulacji twierdzy w Koźlu, Hieronim postanowił zintensyfikować działania, mające na celu zdobycie Kłodzka. Rozgorzały walki o Jaszkową Górną. W ich wyniku siły sprzymierzonych podeszły pod sam obóz warowny twierdzy. W dniu 23 czerwca zajęto Jaszkową Dolną. W nocy 23/24 czerwca podjęto szturm, w wyniku którego hr. Götzen zdecydował się poddać twierdzę. Straty nacierających wyniosły ok. 1000 rannych i zabitych. W walkach wzięły udział dwa szwadrony ułanów polskich Legii Polsko-Włoskiej. Następnego dnia podpisano akt kapitulacji. Twierdzy faktycznie nie wydano z uwagi na pokój w Tylży zawarty 9 lipca 1807 roku[4].

Jedna z legend miejskich mówi, że gdy Napoleon przejeżdżał na koniu przez Kłodzko, spadła mu z głowy czapka, a w miejscu, gdzie upadła, Prusacy ufundowali obelisk kamienny z wyraźnie wytłoczoną czapką. Stoi on do dzisiaj i miał być uważany przez Prusaków za znak, który przepowiadał upadek cesarza. W rzeczywistości Napoleon nie maszerował przez Kłodzko (prowadził wtedy kampanię na Pomorzu i w Prusach Wschodnich), a w czasie kapitulacji twierdzy dowodził w bitwie pod Frydlandem. Kamień jest pomnikiem upamiętniającym niemieckie zdobycze terytorialne w Afryce, przy czym kapelusz jest tropikalnym nakryciem głowy niemieckich wojsk kolonialnych. Pomnik odsłonięto 19 września 1937 roku z inicjatywy miejscowej sekcji Niemieckiego Związku Kolonialnego(inne języki). Zatarty dziś napis na kamieniu głosił: Gedenkt unserer Kolonien pol. Pamiętajcie o naszych koloniach[5].

W roku 1867 rząd pruski zdecydował o rozbrojeniu twierdzy jako przestarzałej (podobna sytuacja miała miejsce w twierdzy srebrnogórskiej).