Moscheea originală a fost construită de către Profetul Mahomed și de adepții săi, imediat ce au ajuns la Medina, în anul 622. Moscheea originală a fost o clădire în aer liber, cu pereți din chirpici și lemn și era acoperită cu frunze de palmier, iar în interior avea o platformă pentru citirea Coranului. Moscheea avea un singur minaret tot din chirpici și lemn.

Șapte ani mai târziu, moscheea a fost extinsă pentru a cuprinde un număr tot mai mare de musulmani, și au fost făcute trei uși de intrere în moschee. În timpul domniei califului Omar (634-644), moscheea a fost din nou extinsă și i-au fost adăugate câteva coloane din lemn de palmier. În timpul domniei califului Osman, moscheea a fost extinsă și mai mult, iar pereții, minaretul și coloanele au fost înlocuite cu unele din piatră.

Mai târziu în timpul califilor omeiazi (661-750) , moscheea a fost extinsă din nou și i-au fost adăugate încă trei minarete. Acoperișul a fost schimbat cu unul din lemn de tec, iar pereți au fost acoperiți cu mozaicuri frumoase și a fost făcut un mihrab din piatră. De asemenea, începând cu anul 707 moscheea cuprindea și mormintele profetului și ale celor trei califi.

În timpul califilor abbasizi (750-1250), moscheea a fost extinsă mai mult și i-au fost adăugate în total douăzeci de uși. În timpul sultanilor mameluci (1250-1517), au fost rezidite zidurile moscheii, iar unul dintre minarete a fost reconstruit deoarece a fost distrus de un fulger. Tot sub conducerea mamelucilor mihrabul a fost și el reconstruit.

În timpul sultanilor otomani, mormântul Profetului Mahomed este acoperit cu plumb, mihrabul este reconstruit, iar moscheea este extinsă . Este adăugat un minbar nou, a fost adăugat un al cincilea minaret , podeaua și mihrabul au fost făcute din marmură, acoperișul din plăci glazurate, a fost adăugat un uriaș dom verde, iar în interior pereți au fost decorați cu texte și versete coranice.

În cele din urmă moscheea a fost extinsă mereu până a ajuns la forma ei actuală, cu zece minarete din marmură, iar mormintele profetului și ale califilor au fost băgate în grilaje și au fost decorate cu aur și bijuteri.