Bergenin satamaa; taustalla vasemmalla suosittu virkistysalue Fløyen

Norjan kuningas Olav Kyrre perusti Bergenin vuonna 1070. Se oli alkujaan vai pieni asutuskeskus Vågenin lahden itä- ja etelärannoilla. Kaupunki levisi myöhemmin lahden länsirannikolle ja kauemmaksi etelään. Haakon IV Haakoninpoika teki Bergenistä koko Norjan pääkaupungin. Se korvasi maan ensimmäisen pääkaupungin Trondheimin, ja Oslo puolestaan korvasi Bergenin vuonna 1299. Bergenistä tuli 1200-luvun loppupuolella myös Hansaliiton pohjoisin toimipiste, ja siitä tuli jo varhain läntisen Norjan merkittävin kauppakeskus. Kaupunki kärsi kuitenkin suuresti, kun Musta surma iski 1349 Bergeniin, minne se saapui ulkomaalaisten kauppiaiden kautta.[1]

Norjasta tuli osa Tanskaa 1300-luvun lopulla. Bergen nousi koko Norjan merkittävimmäksi kauppakeskukseksi. Tärkein kauppatavara oli Pohjois-Norjasta saatu kuivattu turska, jota kuljetettiin muualle Eurooppaan. Norjaan puolestaan tuotiin viljaa, vaatteita ja mausteita.[1] Saksalaiset Hansakauppiaat perustivat noin vuonna 1350 kaupunkiin siirtokunnan.[2] Hansakauppiaat asuivat Bergenissä omalla alueellaan Vågenoin itärannalla, minne he rakensivat asuinrakennuksensa ja suuria satamalaitureita.[1] Nimellä Bryggen tunnettu alue on valittu Unescon maailmanperintöluetteloon.[3] Vuonna 1429 vitaaliveljet hyökkäsivät Bergeniin, ryöstivät sen ja polttivat sen maan tasalle. Kaupungissa on ollut useita muitakin pahoja tulipaloja, tunnetuimmat vuosina 1702 ja 1916.[4]

Hansaliiton vaikutus alkoi heiketä 1500-luvulla. Bergen piti silti asemansa merkittävänä kauppakaupunkina, sillä sillä oli monopoli Pohjois-Norjan kauppaan aina vuoteen 1789. Bergen oli jo keskiajalla Pohjoismaiden suurimpia kaupunkeja ja Norjan suurin kaupunki 1830-luvulle asti. Vuodesta 1814 Norja oli unionissa Ruotsin kanssa. Norjasta tuli itsenäinen kuningaskunta 1905, ja eroamisen merkittävimpiä taustahahmoja oli bergeniläinen Christian Michelsen, josta tuli myös Norjan ensimmäinen pääministeri.[1]

Bergenin erityispiirre, vuorten eristämänä muusta osasta Norjaa, säilyi pitkään. Tämän vuoksi kaupungilla oli paremmat kauppasuhteet meriteitse kuin maateitse. Sisämaan liikenteelle ratkaiseva Bergenin ja Oslon (silloisen Kristianian) välinen rataosuus avattiin 27. marraskuuta 1909.[5] Vuoden 1916 tuhoisa tulipalo johti kaupungin keskeisten osien uudelleenrakentamiseen. Leveiden katujen ja aukioiden tarkoituksena oli estää tulipalojen leviäminen. Bergenin radan avaaminen auttoi kaupunkia kasvamaan, ja kaupungin taloudenaloista laivanrakennusteollisuus ja tekstiiliteollisuus avittivat kasvua.[1]

Norja pysyi ulkona ensimmäisestä maailmansodasta, mutta toisessa maailmansodassa Saksan valtaus ja liittoutuneiden pommitukset aiheuttivat tuhoja.[1] Lisäksi sodan aikana suuressa räjähdysonnettomuudessa kuoli 158 ihmistä.[2] Kaupunkia rakennettiin uudelleen 1940-luvun lopulla ja 1950-luvun alussa. Kun Pohjanmereltä löydettiin 1970-luvulla öljyä, Bergenin ympäristöön alkoi kehittyä öljyteollisuutta.[1]