Pierwszy klasztor w tym miejscu pod nazwą Streaneshalch (ang. Bay of Light[1]) założył władca anglosaskiej Nortumbrii Oswiu na prośbę swojej krewniaczki św. Hildy, która została jego pierwszą opatką[2][3][4][5]. Był to klasztor podwójny, przeznaczony zarówno dla mnichów jak i mniszek[5].

W 664 roku król Oswiu zwołał w opactwie słynny synod[2], którego ustalenia doprowadziły do uznania obrządku łacińskiego za jedyny obowiązujący i w konsekwencji do likwidacji kościoła iroszkockiego[3][5].

Streoneshalh został spustoszony między 867 a 870 rokiem podczas duńskich najazdów pod wodzą Ingwara i Ubby[4]. Pozostawał pusty przez ponad dwa stulecia[2].

Ruiny średniowiecznego opactwa zostały w II połowie XI wieku przekazane przez Williama de Percy mnichowi Reinfridowi[2], dawnemu żołnierzowi Wilhelma Zdobywcy, który reaktywował tu klasztor w regule św. Benedykta[4]. Wilhelm Zdobywca zdecydował się zatwierdzić dla nowo powstałego zgromadzenia kartę przywilejów. Przywileje te zostały potwierdzone i rozszerzone przez króla Henryka I, który również podniósł klasztor do rangi opactwa.

Opactwo rozwijało się i rozbudowywało aż do 1540 roku, kiedy decyzją Henryka VIII zostało rozwiązane, wraz z wieloma innymi klasztorami[3][4]. Opuszczone budynki stopniowo popadały w ruinę. Większość ścian stała do 1763 roku, kiedy to zawaliła się cała zachodnia strona klasztoru, co znacznie osłabiło całą konstrukcję i uczyniło ją bardzo podatną na niszczycielskie warunki pogodowe i działanie wiatru[3]. W 1830 roku runęła główna wieża, a w 1839 chór[3].

W 1914 Whitby Abbey zostało ostrzelene przez dwa niemieckie krążowniki Von der Tann i Derfflinger. Ostrzał znacznie uszkodził osłabioną konstrukcję[5].

Do dnia dzisiejszego zachowała się jedynie niewielka część ruin kościoła, które stoją na malowniczym klifie o wysokości ok. 200 m[3]. Znajdują się pod opieką English Heritage, agendy rządowej opiekującej się zabytkami[5]. Na terenie opactwa prowadzone były liczne prace archeologiczne, a znalezione zabytki prezentowane są w pobliskim muzeum Cholmley House[4][5].