Bergen byl údajně založen, jako město, Olafem III. Norským kolem 1070 n. l. Na konci 13. století patřil mezi čtyři nejdůležitější pobočky Hanzy. Význam Bergenu byl v jeho podílu na obchodu se sušenými treskami, které sem byly dováženy ze severněji ležících končin Norska. Obchodovalo se takto již od přelomu 11. a 12. století. Němečtí hanzovní kupci žili ve svých oddělených čtvrtích města, a těšili se výhradnímu právu obchodovat s rybáři ze severu, kteří sem každé léto přijížděli prodat své úlovky. Připomínkou toho je bergenské nábřeží Bryggen, jež je dnes na seznamu Světového dědictví UNESCO.

Roku 1348 byl Bergen zasažen morem, patrně sem byl zavlečen anglickými loděmi. Roku 1429 odnož vitaliánů (Vitalienbrüder) zaútočila na Bergen s několika loděmi, vydrancovala a zapálila město, které lehlo popelem. Roku 1536 přiměl král německé kupce stát se Nory nebo odejít zpět do svých zemí. To bylo také předznamenáním úpadku německého vlivu.

Po celé 15. a 16. století zůstal Bergen největším nordickým městem, do roku 1850 zůstal také největším městem Norska. Svůj postavení v obchodě se severním Norskem si udržel až do roku 1789.

 Cihlové domy postavené roku 1901, po požáru v Bryggen

Roku 1916 část centra města lehla popelem. A roku 1944, během německé okupace, německá loď, kotvící u pevností Bergenhus, naplněná výbušninami explodovala. Zničila tak nejen historické budovy, ale zabila i mnoho lidí.

Roku 1972 byl Bergen sloučen se sousedními městy, které se tak staly bergenskými městskými obvody. Toho roku Bergen zanikl jako samostatný kraj.