A cidade de "Medina Fez" foi fundada pelo xerife Alida (descendente de Ali) Idris I (Mulei Idris) em 789, no local onde hoje se situa o bairro dos andalusinos. Em 808, Raxide ibne Morxide fundou Alalia (al-Aliya) na outra margem do uádi de Fez. Alalia desenvolveu-se rapidamente, tornando-se uma verdadeira cidade, com mesquita e kissariya (mercado coberto).

A existência de nascentes de água nos arredores, conhecidas antes mesmo da fundação da cidade e mencionadas em canções, devem ter sido um fator importante na escolha do local para edificação da cidade. As principais evoluções seguintes de Fez devem-se a duas vagas de imigração. A partir de 817–818, instalam-se na nova capital idríssida cerca de 800 famílias andalusinas, expulsas dos arrabaldes de Córdova pelos Omíadas. Pouco tempo depois foi a vez de 200 famílias banidas de Cairuão pelos Aglábidas se instalarem em Alalia. A mesquita e madraça de al Quaraouiyine foi fundada no século IX pela filha de um dos imigrados de Cairuão, Fátima Alfiri. Esta escola universitária foi um dos centros religiosos e culturais mais importantes da idade de ouro islâmica. A sua influência fez-se sentir até nas escolas do Alandalus e dali para a Europa cristã, onde atrai numerosos sábios e místicos, inclusivamente cristãos, como Gerbert d'Aurillac, que depois seria o papa Silvestre II (ca. 950–1003).

Os imigrantes levaram para Fez conhecimentos técnicos e uma experiência de vida citadina com longas tradições. Sob o seu impulso, Fez tornou-se um centro cultural importante e, após a criação da mesquita universitária de al Quaraouiyine, passou a ser o centro religioso do Magrebe ocidental. A localização da cidade é particularmente favorável para o comércio, pois encontra-se no cruzamento de duas rotas comerciais importantes, numa região onde abundam matéria primas importantes para diverso artesanato, como pedra, madeira e barro. Estes fatores permitiram a criação de uma rica cultura estética a partir da grande tradição artística árabe-andalusina. Por Fez passa a rota das caravanas que ligavam a África subsariana ao Mediterrâneo através da grande cidade comercial de Sijilmassa (desaparecida no século XVII), na região do Tafilete, o que contribuiu para aumentar o interesse económico da cidade.

Nos séculos X e XI, Fez foi tomada pelos magrauas e foi palco de batalha entre as tribos zenetas magrauas e ifrânidas, que foram sucessivamente aliados do Califado de Córdova e do Califado Fatímida. É durante este período que ocorre um pogrom contra a comunidade judaica que fez 6 000 vítimas e que ficou conhecido como o Massacre de Fez de 1033.

As duas partes da cidade foram unidas em 1069, destruindo a muralha que as separava. Fez perdeu o seu papel de capital com a fundação de Marraquexe e Tremecém pelos Almorávidas, no século XI, mas volta a tê-lo em 1250 com os Merínidas. Com estes governantes, cujo reino é conhecido como Reino de Fez, é fundada a nova cidade el Medinet el-Beida ("a cidade branca") em 1276, que é dotada de muralhas, de palácios e de jardins. Torna-se rapidamente conhecida como Fez Aljadide (Nova Fez), em oposição a Fez Albali (Velha Fez). A população judia que vivia nas imediações do palácio foi obrigada a sair dali e a mellah (bairro judeu) formou-se então no antigo bairro da guarnição dos arqueiros sírios.

No início do século XIV (apogeu da arte mourisca), a cidade teve um acentuado crescimento. Graças às caravanas que a ligavam ao porto de Badis, no Rife, Fez estava permanentemente ligada ao Reino Nacérida de Granada e ao conjunto do mundo mediterrânico. Em 1471, os Oatácidas tomaram a cidade e passaram a reinar sobre Reino de Fez, que então ocupava apenas a parte norte de Marrocos atual.

Em 1522, Fez foi abalada por um sismo que destruiu parte da cidade. Nos anos seguintes, numerosos edifícios foram reconstruídos, restaurados ou substituídos. Os Saadianos tomaram a cidade em 1554, que também era cobiçada pelos turcos otomanos, mas escolheram Marraquexe como sua capital. No fim do século XVII, no início da dinastia alauita, ainda atualmente no poder em Marrocos, Mulei Ismail instalou a capital do seu Império Xerifiano Mequinez. O mesmo monarca colocou uma parte da tribo Guich dos udaias, que o tinham ajudado a subir ao poder, como guarnição em Fez. Depois da sua morte em 1727, os udaias revoltaram-se, mas ´so seriam expulsos de Fez em 1833, pelo sultão Abderramão ibne Hixeme. O sucessor de Mulei Ismail, Mulei Abedalá, usou Fez como local de residência permanente e mandou renovar e construir mesquitas, madraças, pontes e ruas, nomeadamente as ruas de Fez Jedid que desde então são pavimentadas.

No século XIX, as antigas duas partes da cidade são unidas. Fez voltou a ser a capital de Marrocos até ao início do protetorado francês, em 1912, cuja capital foi instalada em Rebate.

 Ver também: Protetorado Francês em Marrocos

O tratado franco-marroquino que instaurou o Protetorado Francês em Marrocos foi assinado em Fez em 30 de março de 1912. Menos de três semanas após a proclamação oficial do protetorado estalaram motins antifranceses na cidade. As autoridades coloniais transferiram então a capital para Rebate, mas Fez continuou a ser um centro cultural, político e económico de grande importância. Muitas iniciativas nacionalistas e anticolonialistas tiveram origem em Fez, o que fez da cidade um dos berços do movimento nacionalista marroquino, nomeadamente do Partido Istiqlal ("partido da independência"). Em 1944, o Manifesto para a Independência foi redigido numa casa a velha Almedina, situada no que é atualmente a Praça de l'Istiqlal. A cidade conheceu, contudo, problemas sociais crescentes depois da independência em 1956 e teve que fazer face à explosão do êxodo rural. Os motins de 1990 foram o ponto culminante dessa deterioração das condições de vida na cidade.[carece de fontes?]

Sob a direção de Lyautey, durante o período colonial foi criada uma nova urbanização na área de Dar Debibagh, a sul de Fez Jedid, seguindo os planos do arquiteto Henri Prost. Inicialmente, a chamada "Cidade Nova" foi o bairro residencial dos europeus, mas continuou a desenvolver-se, tornando-se uma cidade árabe moderna, com novos quarteirões com vivendas, onde também se instalaram organismos governamentais, instituições e empresas de serviços.

Uma das consequências da mudança da capital para o litoral atlântico foi a partida de uma grande parte da população nativa de Fez para Casablanca, Rebate e, em menor escala, para Tânger. Este fluxo de emigração inclui desde simples artesãos a empresários e letrados, que abandonaram a cidade que tinha perdido o seu estatuto privilegiado.[carece de fontes?]