L'abbaye a été fondée pour la première fois en 1135 par Adalbert Ier de Sarrebruck, archevêque de Mayence alors que l'ordre cistercien rayonnait en Europe. Elle a été refondée par saint Bernard de Clairvaux des Cisterciens comme une fille de l'abbaye de Cîteaux. L'église abbatiale, à trois vaisseaux, fut édifiée en deux temps, de 1145 à 1160, puis de 1170 à 1186. Entre 1310 et 1340, on a ajouté sur le flanc sud une série de chapelles gothiques. L'écrivain catholique des Lumières Johannes Lorenz Isenbiehl est condamné en 1778 à une retraite à l'abbaye d'Eberbach à cause de ses écrits considérés comme hérétiques. Cette abbaye est à ce jour une des mieux conservées au monde. L’édifice héberge une fondation culturelle. Le musée de l'abbaye retrace l'histoire de l'abbaye et de l'ordre cistercien.

Lors de l'hiver 1985-1986, les scènes intérieures du film Le Nom de la rose y ont été tournées, ce qui a accru sa réputation.