Pierwsze fortyfikacje powstały po podboju przez Juliusza Cezara plemienia Menapii w I wieku przed Chrystusem, które miały chronić wybrzeże przed piratami. Frankowie przejęli ten obszar od starożytnych Rzymian około IV wieku. W IX wieku wikingowie najechali te ziemie zmuszając Baldwina I, hrabiego Flandrii do wzmocnienia fortyfikacji. Wkrótce wznowiono handel z Anglią i Skandynawią. Mniej więcej w tym okresie pojawiły się monety z nazwą Bryggia – które może mieć to samo pochodzenie co norweskie Bryggen.

Brugia otrzymała prawa miejskie 27 lipca 1128 roku. Wtedy też zbudowane zostały nowe mury i kanały. Od mniej więcej roku 1050 stopniowe zamulanie spowodowało iż miasto utraciło bezpośredni dostęp do morza. Odzyskało go dzięki sztormowi w 1134 roku, który stworzył naturalny kanał w Zwin.

Już na początku XIII wieku Brugia brała udział w targach suknem. Dzięki kontaktom z Anglią, importowano do Flandrii normandzkie zboże i gaskońskie wino. Hanzeatyckie statki cumowały na nabrzeżu, które musiało zostać rozbudowane. W 1277 roku, pierwsza flota handlowa z Genui zawinęła do Brugii, dzięki czemu miasto stało się głównym miastem handlującym z terenami położonymi wokół Morza Śródziemnego. To wydarzenie otworzyło drogę do handlu przyprawami z Lewantem i rozwoju bankowości w Brugii. W 1409 roku otwarto zajazd Huis ter Beurze, który stał się pierwszą giełdą i najbardziej rozwiniętym rynkiem pieniężnym w Niderlandach w XIV wieku.

W mieście funkcjonowały rozwinięty rynek, system bankowości i usług handlowych. Okres największej świetności średniowiecznej Brugii przypadł na lata 1280–1390. W odniesieniu do tego okresu flandryjskie miasto jest określane mianem jednej z „kolebek europejskiego kapitalizmu”[1].

W 1302 mieszkańcy Brugii dołączyli do hrabiego Flandrii i walczyli przeciwko Francuzom. Zakończeniem tego powstania była bitwa pod Courtrai, stoczona w pobliżu Kortrijku 11 lipca. Pomniki Jana Breydela i Pietera de Coninca, przywódców powstania, stoją ciągle na rynku miasta.

W XV wieku Filip III Dobry, książę Burgundii ustanowił w Brugii, Brukseli i Lille swoje dwory, co przyciągnęło wielu artystów, bankierów i inne wybitne osobistości z całej Europy. Nowa szkoła flamandzka, prezentująca techniki malowania olejem, zyskała światową sławę. Pierwsza angielska książka była wydrukowana w Brugii przez Williama Caxtona. Również w tym czasie Edward IV i Ryszard III przebywali tu na wygnaniu. W tym okresie miasto liczyło około 40 tysięcy mieszkańców.

Od około 1500 roku kanał Zwin, który był źródłem potęgi miasta, zaczął się zamulać. Niedługo potem miasto straciło znaczenie handlowe na rzecz Antwerpii. W XVII wieku koronkarstwo upadło i podjęto wiele wysiłków by przywrócić dawną świetność miasta. Port został zmodernizowany, zbudowano nowe połączenie z morzem, ale i to niewiele pomogło. Brugia nadal ubożała i traciła na znaczeniu. George Rodenbach nazwał miasto Bruges-la-Morte, co oznacza Martwe Bruges. W drugiej połowie XIX wieku Brugia stała się miastem turystycznym, przyciągającym bogatych brytyjskich i francuskich turystów. W drugiej połowie XX wieku miasto zaczęło odzyskiwać dawną sławę. Port Zeebrugge, pierwotnie zbudowany przez Niemców dla ich U-Bootów podczas I wojny światowej, został powiększony w latach 70. i 80. Nastąpił boom turystyczny i w 2002 roku Brugia została wybrana Europejską Stolicą Kultury.