De Passio Floriani, een overlevering uit de 9e eeuw, vertelt over de martelaarsdood van de eerste met naam bekende christen op het Oostenrijks grondgebied: de heilige Floriaan. Volgens deze overlevering werd Floriaan na zijn dood in 304 begraven op de plaats waar zich tegenwoordig het klooster bevindt. Daarmee is de plek van het klooster al sinds de 4e eeuw een plaats van verering.

De eerste schriftelijke getuigenissen van een klooster gaan terug op de Karolingische periode (circa 800). In 1071 droeg bisschop Altmann van Passau het klooster Sint-Floriaan over aan de hervormingsgezinde Augustijner koorheren. Sindsdien verzorgen de Augustijnen er zowel de monastieke als de parochiale taken (tot het sticht behoren 33 parochies).

In 1686 werd begonnen met de barokke nieuwbouw van de kloostergebouwen door Carlo Antonio Carlone, die hier tot zijn dood in 1708 als bouwmeester bleef werken. In zijn tijd ontstonden de kerk en de westelijke vleugel met de indrukwekkende hoofdgevel. Na de dood van Carlone in 1708 zette Jakob Prandtauer het werk voort zoals Carlone dat grotendeels gepland had. Tegelijkertijd drukte ook Prandtauer zijn stempel op de bouw. In deze periode ontstonden de zuidelijke vleugel met de prachtige marmeren zaal (waarvan de artistieke ontwerpen verwijzen naar de strijd tegen de Turkse bedreiging), het zomerrefectorium aan de oostzijde van het klooster en diverse andere gebouwen. Na de dood van Prandtauer nam de uit Sankt-Florian afkomstige voorman Jakob Steinhueber het werk over. Alleen voor de bouw van de bibliotheek werd nog een andere bouwmeester aangetrokken, de uit Stiermarken afkomstige Gotthard Hayberg. Rond 1750 kwam er een einde aan de bouwactiviteiten in het stift.

In de periode 1848-1855 werkte Anton Bruckner hier als stiftsorganist. Hij ligt begraven onder het door Franz Xaver Krisman gebouwde orgel.

In januari 1941 volgde de inbeslagname door de Gestapo en de onteigening van de abdij. De koorheren werden met hun proost Vinzenz Hartl uit het klooster gezet, maar konden hun monastieke leven in het klooster Pulgarn bij Steyregg voortzetten. Vanaf 1942 kreeg het Reichsrundfunkgesellschaft er een onderkomen.

Na de oorlog keerden de koorheren terug in hun kloostergebouwen.