Քաղաքը հիմնադրվել է 1070 թվականին Վոգենյան բուխտայի ափին Օլաֆ III արքայի կողմից, Bjørgvin անվամբ։ Մի քանի տասնամյակ անց բուխտայի հյուսիսային եզրին կանգնեցվեց Բերգենխուս քարե ամրոցը։ 12-րդ և 13-րդ դարերում Բերգենում ապրել են նորվեգական արքաներն ու եպիսկոպոսները։ 1217-1299 թվականներին Բերգենը եղել է միջնադարյան Նորվեգիայի մայրաքաղաքը։

14-րդ դարում նորվեգական միապետության թուլացման հետ մեկտեղ Բերգենում իշխանությունն անցավ հանզենյան առևտրականների ձեռքը։ Նրանց է քաղաքը պարտական իր գեղեցիկ զբոսավայրերով։ Բերգենում առևտրականների կառավարումը տևեց մինչև 18-րդ դար։

Չնայած 1702 և 1916 թվականների ավերիչ հրդեհներին՝ Բերգենը գրեթե իր ողջ պատմության ընթացքում մնաց Նորվեգիայի արևմտյան ափի կարևորագույն նավահանգիստը։ 1665 թվականին հենց Վոգենյան բուխտայում բռնկվեց անգլո-հոլանդական պատերազմներից մեկը։