L’histoire du bâtiment remonte à une chapelle dédiée à Saint Clément, édifiée au XIe siècle[1]. Un couvent dominicain y est établi en 1227 lequel est détruit en 1420 par les hussites[2]. En 1556, l'empereur Ferdinand Ier cède les terrains de l'ancien couvent aux jésuites, qui y construisent un établissement d'enseignement du Latin. Soixante ans après, l'école devient un collège[3], le collège Saint-Clément.

En 1622, les Jésuites transfèrent la bibliothèque de l'université Charles[1] et fusionnent ces deux institutions éducatives en 1654. C'est à cette époque que, sous la direction ou avec l'aide d'architectes tels que Kilian Ignace Dientzenhofer, Carlo Lurago ou Francesco Caratti, sont construits la plupart des bâtiments suivant un style baroque dont Prague, centre clé de la Contre-Réforme fut à l'époque émaillée. Les quelque 20 000 m2 construits entre 1653 et 1726[3] en font la deuxième plus importante construction de Prague après le Château.

Durant le XVIIIe siècle, le Clementinum se voit adjoindre :

la chapelle des glaces (1724), œuvre de František Maxmilian Kaňka la bibliothèque universitaire (1727), œuvre de František Maxmilian Kaňka l’observatoire astronomique en 1750, fondé par le scientifique et prêtre jésuite Josef Stepling[2] le musée des mathématiques, fondé par Joseph Stepling en 1751 une station météorologique en 1775, fondée par Antonín Strnad[3]

À la suppression de l'ordre des Jésuites en 1773, le Clementinum devient une université séculière, et l'impératrice Marie-Thérèse déclare la bibliothèque des jésuites être la Bibliothèque universitaire impériale et royale.

L'université Charles est scindée en 1882 en deux entités, l'une tchèque, l'autre allemande et le Clementinum échoit à la faculté tchèque de philosophie et de théologie.

En 1918, le nouveau gouvernement de la Tchécoslovaquie établit la Bibliothèque nationale tchèque au Clementinum. À partir de 1930, seules les activités de bibliothèque y restent[2].

De 1924 à 1936, l'architecte Ladislav Machon prend la tâche de remanier les installations du Clementinum pour les rendre adéquates à l'usage d'une bibliothèque de l'époque. En 1929, la Bibliothèque slave (en) est intégrée au bâtiment[1].