Перший монастир в районі Вітбі, яке тоді називалося Стреонешалх (Streoneshalh), було засновано приблизно в 657 році. Принцеса Хільда, з племені англів, стала першою абатисою монастиря і була пізніше канонізована. В монастирі тоді мешкали як монахи так і монахині. Він став одним з найважливіших релігійних центрів англо-саксонського світу того часу. В 664 році тут засідав Синод Вітбі, за участі короля Нортамбрії Освія, на якому вирішувалося якого христянського обряду має дотримуватися монастир — кельтського чи римського (латинського). Рішення було прийнято на користь римського обряду. В той час в монастирі також мешкав світський чоловік на ім’я Кедмон — найперший відомий англійський поет. Тодішні мешканці, англи, покинули монастир та навколишнє поселення в IX сторіччі, можливо внаслідок набігів вікінгів. Вікінги також заснували тут своє поселення. На час норманського завоювання в 1066 році вікінги вже пішли, але залишили після себе назву Вітбі. Приблизно в 1078 році в Вітбі постав новий, бенедектинський, монастир. Будівництво абатства в готичному стилі, руїни якого збереглися до нашого часу, почалося в XII сторіччі і продовжувалося протягом наступних двохсот років. Абатство припинило своє існування в якості релігійного центру в 1539 році, після того як король Генрі VIII оголосив себе главою англійської церкви та розпустив усі католицькі монастирі. Одразу ж після закриття абатства, в 1541 році, сер Річард Чормлі викупив його будівлі та прилеглу територію, і заснував один із своїх маєтків. Впродовж наступних двохсот років, родина Чормлі реставрувала час від часу старовинні будівлі абатства. У XVIII сторіччі, родина полишила абатство, після чого будівлі почали руйнуватися внаслідок ерозії від вітру та дощу. З початку XVIII сторіччя Вітбі стало популярним курортним містом, а руїни абатства - туристичною принадою.