Pierwszy klasztor został zbudowany około 623 roku. Jego budowniczym miał być św. Féchín, który wzniósł kościół pod wezwaniem Najświętszej Maryi Panny[1]. Podczas synodu w Rath Breasill w 1010 roku w Cong ustanowiono biskupstwo. Pierwsze budowle przetrwały do 1114 roku, kiedy to zniszczył je ogień. Kroniki Czterech Mistrzów wspominają, że po tej dacie Cong podupadło i straciło status biskupstwa. Dwadzieścia lat później Tairdelbach Ua Chonchobair (Turlough O'Conor), władca Connachtu i wielki król Irlandii odbudował kościół i na nowo założył opactwo. W 1137 roku najeźdźcy z Munsteru zniszczyli budynki, ale Chonchobair ponownie je odbudował[2].

Po normandzkiej inwazji w 1169 roku, syn Chonchobaira, Ruaidrí Ua Conchobair zaczął tracić władzę nad krajem. Postanowił przenieść się do Cong, gdzie wzniósł nowe budynki opactwa i spędził tam ostatnie 15 lat swojego życia. Gdy zmarł w 1198 roku został, według tradycji, pochowany pod oknem prezbiterium. Krótko po tym, został jednak ekshumowany i pogrzebany na terenie klasztoru w Clonmacnoise. W opactwie Cong zostali natomiast pochowani członkowie jego rodziny: syn Maurice the Canon, córka Nuala oraz siostra Fionnuala. Później spoczęły tam również osoby z wpływowego rodu de Bermingham oraz wiele innych znaczących postaci, w tym opaci Niahol i Gillebard O’Duffy. Ich rodzina była związana z opactwem od około 1097 do 1501 roku[2].

W 1205 roku do władzy doszedł nieślubny syn króla Conchobaira – Cathal, który przebudował opactwo, a kościół poświęcił Matce Bożej Różańcowej[2]. Pomimo wielu najazdów i pożarów klasztor przetrwał do 1542 roku, kiedy to został rozwiązany przez Henryka VIII. Mimo to kolejni opaci pozostawali na jego terenie i pełnili rolę parafialnych księży. Przez wieki opactwo popadło w ruinę i dopiero w XIX wieku zaczęło odzyskiwać dawny wygląd za sprawą Benjamina Lee Guinnessa, który rozpoczął jego renowację. Duży wkład w przywracanie dawnej świetności miała również rodzina Foyów, której członkowie byli rzeźbiarzami oraz murarzami od pokoleń związanymi z opactwem[3].