Miejscowość założona została w 1788 jako port rybacki, zaprojektowana przez inżyniera z Dumfriesshire Thomasa Telforda. 200 lat wcześniej, w 1588, jeden z okrętów hiszpańskiej Armady powracających do Hiszpanii, zatonął w zatoce, w miejscu obecnego portu. Podobno wiózł on pod pokładem znaczne skarby. Nie potrafimy jednak na 100% podać nawet nazwy tej jednostki. Niektóre źródła mówią o San Juan de Sicilia[1], inne podają, że nosiła ona nazwę Florencia [2] [3].

Miejscowa miejska legenda mówi, że zatopienie okrętu było robotą wiedźmy Dòideag. W rzeczywistości kapitan okrętu, który chciał zaprowiantować tu jednostkę na dalszą podróż, wdał się w wojnę miejscowych klanów MacLeanów i MacDonaldów. Gdy nie zapłacił za prowiant, MacLean zatrzymał trzech hiszpańskich oficerów jako zakładników. Kapitan uczynił na okręcie to samo z posłem MacLeanów. Ten, słysząc zgrzyt podnoszonych łańcuchów kotwicznych, bez namysłu podłożył ogień w magazynie prochu. Okręt – galeon o wyporności 980 ton, niosący na pokładzie 52 działa i 468 ludzi załogi – zatonął w pobliżu obecnego mola, a jego wrak spocząć miał na głębokości ok. 40 m. Pomimo wielokrotnych poszukiwań wraku jednak dotąd nie znaleziono. Udało się jedynie wydobyć z nurtów pojedyncze przedmioty: kotwicę, egzemplarze broni, srebrne lichtarze, tace i monety oraz kilka cennych medalionów[2].

Podczas II wojny światowej Tobermory było bazą treningową Royal Navy i okrętu HMS Western Isles pod dowództwem komandora (późniejszego wiceadmirała) Sir Gilberta Stephensona.

W latach 2002–2004 w Tobermory kręcono popularny w Wielkiej Brytanii serial dla dzieci Balamory, emitowany w telewizji CBeebies[4].