Берген е основан от Олаф III Хюре през 1070 г. и е столица на Норвегия до 1299 г. До края на 13 век, Берген е и част от Хансийския съюз на градовете с търговски монопол над Балтийско море. Основният търговски ресурс на града по това време е рибата треска, чийто улов започва от 1100 г. Германските хансийски търговци са живеели в отделна част от града, където се е говорил долносаксонски език и са притежавали специални права за търговия с рибарите от Берген. В наши дни част от автентичната атмосфера на германския квартал е запазена в пристанищната зона Брюген – обявена за част от световното природно и културно наследство на ЮНЕСКО.

През 1349 г., Черната смърт се разпространява в Норвегия от английски кораб, акостирал на бергенското пристанище. През 15 век, градът е неколкократно атакуван от виталианците, като през 1429 г. те опожаряват двореца и голяма част от града. През 1536 г. кралят принуждава германските търговци да вземат норвежко гражданство или да напуснат града, с което се слага официално краят на немското влияние. През 1665 г. пристанището на Берген се превръща в кървава арена на битка между английски кораби и подкрепяните от градския гарнизон холандски кораби. През 15 и 16 век, Берген се превръща в най-големия град в Северна Европа и остава най-големия норвежки град до развитието на Осло през 1850. Въпреки това до 1789 г. Берген запазва монопола си върху търговията в Северна Норвегия.

През 1916 г. части от центъра на града са разрушени от пожар, последният от много през цялата история на града. По време на Втората световна война, на първия ден от германската инвазия на 9 април 1940 г., градът е окупиран след кратко сражение между германските кораби и норвежката артилерия. На 20 април 1940 г., по време на окупацията, холандски кораб натоварен със 120 тона експлозиви се взривява на пристанището, убивайки над 150 души и разрушавайки исторически сгради. Берген е подложен и на съюзническа бомбардировка, насочена към германските военни обекти. При тази операция загиват над 100 души.

През 1972 г. Берген е обединен със съседните общини (Орна, Фона, Лаксевог и Осоне) и е издигнат до статут на областен град, при което са оформени и съвременните му граници.