בתחילת המאה ה-12 החלה העיר פראג לגדול ובמהרה היה צורך בבניית גשר שיחבר בין חלקה העתיק של העיר לחלק החדש יותר. בתחילה היה זה גשר צר וצנוע בשם גשר יהודית שנבנה ב-1170 ונקרא על שמה של יהודית, אשת המלך ולאדיסלאב הראשון. בשנת 1342 עלה נהר הוולטאבה על גדותיו והציף את הגשר הישן. אסטרולוגים ונומרולוגים מלכותיים הציעו את ה-9 ביולי 1357 בשעה 5:31 בבוקר כזמן המתאים להנחת אבן היסוד, וכך היה. הפלינדרום 135797531 מונצח במגדל הגשר העתיק. המלך קארל הרביעי הניח את אבן הפינה בעצמו, ואז החלו עבודות הבנייה. מי שניהל את עבודות הבנייה היה האדריכל הצ'כי פטר פארלר. בניית הגשר הסתיימה בתחילת המאה ה-15.

עד המאה ה-19, היה הגשר אמצעי המעבר היחיד שחיבר בין שתי גדותיו של הנהר, מהעיר העתיקה ל"רובע הקטן" (Malá strana). האגרה ששולמה על המעבר בגשר הייתה ממקורות ההכנסה החשובים של עיריית פראג.