Miasto zostało założone przez Idrisa I w VIII wieku n.e. Początkowo było tylko niewielką miejscowością, jednak rozbudowało się znacznie w następnym stuleciu, odkąd w 807 roku kolejny władca Idris II ustanowił tu pierwszą stolicę Maroka. Do miasta przybyli wtedy uchodźcy z dwóch najważniejszych ośrodków ówczesnego islamskiego świata - Kordowy w Andaluzji i Kairuanu w Tunezji. Za ich sprawą nastąpił gwałtowny rozwój Fezu. W końcu X wieku miasto było już niekwestionowanym ośrodkiem kulturalnym, religijnym i gospodarczym marokańskiego państwa. Średniowiecznym przybyszom europejskim jawiło się z jednej strony jako stolica fanatyzmu (było jednym z najświętszych miast islamu), a jednocześnie jako centrum nauk: kwitł tu rozwój medycyny, filozofii i matematyki. Ważnym ośrodkiem religijnym i naukowym średniowiecznego Fezu był meczet Al-Karawijjin, powstały w 857 roku[1].

Fez stracił na znaczeniu za panowania dynastii Almorawidów (XI–XII wiek) i Almohadów (XII–XIII wiek), kiedy to stolica marokańskiego państwa mieściła się w Marrakeszu. Dopiero sułtani kolejnej dynastii Marynidów na powrót uczynili z Fezu swoją stolicę i znacznie uświetnili miasto. Fez podupadł jednak po raz kolejny za panowania Sadytów, którzy na stolicę znowu wybrali Marrakesz. Dopiero pierwsi władcy dynastii Alawitów w początkach XVII wieku przywrócili miastu jego dawną rangę – panował tu pierwszy marokański sułtan tej dynastii Maulaj Raszid. Już jednak jego brat i następca Maulaj Isma’il słynął z niechęci do mieszkańców Fezu i nałożył na nich wysokie podatki, a sam przeniósł się ze swoim dworem do pobliskiego Meknesu. Po jego śmierci przywrócono Fezowi wprawdzie rangę stolicy, jednak rozgorzały wtedy trwające aż do drugiej połowy XVIII wieku walki o władzę, a krótkotrwale utrzymujący się na tronie kolejni sułtani inwestowali przede wszystkim w wojny oraz rozbudowę pałacu. Dopiero rządy Muhammada III przyniosły względny spokój i rozwój miasta.

Za kolonialnych rządów francuskich następował dalszy rozwój miasta, powstała nowoczesna dzielnica ville nouvelle, jednak od początku francuskiego panowania miasto odgrywa już mniejszą rolę z uwagi na fakt, że stolicę Francuzi przenieśli do Rabatu.

Obecnie jednak Fez jest dużym ośrodkiem gospodarczym i turystycznym, a także centrum religijnym. W 1981 medyna w Fezie została wpisana na listę światowego dziedzictwa kultury UNESCO. W 2001 utworzono w Fezie ogród botaniczny.