Idris I.ak inperioa eskuratu berritan Fez ibaiaren eskumako ertzean herri berri bat sortzea erabaki zuen 789 urtean. Hasierako biztanleak Kordobatik ihesean zetozen errefuxiatuak izan ziren[1]. Bere seme Idris II.ak bere hiriburua eraiki zuen ibaiaren beste aldean 809 urtean. Oraingoan Kairuanetik (Tunisia) etorritako errefuxiatuek populatu zuten[1].

Ibaia estua bazen ere hiri bakoitzak bere garapena izan zuen harik eta XI mendean almorabideek bateratu zituzten arte. Errefuxiatuek Fezera ekarritako onuren adierazgarri Al Qarawiyyin Unibertsitatea da, munduko unibertsitate zaharrena kontsideratua eta Kairuanetik etorritako tunisiar batek sortua, 859 urtean. Almorabideek ordea hiriburu berria eraiki zuten, Marrakex.

Almohadeen garaian merkatal herri handia bihurtu zen eta munduko handiena izatera ere iritsi zen une batez[2]. 1276 urtean Mariniek Fezen berrezarri zuten hiriburua eta honek abiarazi zuen Fez el Baliren garai aberatsena. Garai hartakoak dira hiriko eraikin nagusiak. Harresietatik kanpora hiri berria hasi zen sortzen eta Fes Jdid izena hartu zuen.