El primer impuls per a la mesquita va començar en 1966 quan el rei Faisal ibn Abd-al-Aziz de l'Aràbia Saudita la va suggerir durant una visita a Islamabad, amb motiu de l'ingrés de Pakistan en la Comunitat Islàmica Mundial. En 1969, va haver-hi un concurs internacional on arquitectes de 17 països van presentar 43 propostes. Després de quatre dies de deliberació, es va triar el disseny de l'arquitecte turc Vedat Dalokay. La construcció va començar en 1976 per Azim Khan, i va ser finançada pel govern saudita, per un cost de més de 130 milions de riyals saudites. El rei Faisal bin Abdul Aziz va ser instrumental en el finançament, i tant la mesquita com la ruta que porta cap a ella van ser nomenades per ell després del seu assassinat en 1975. La mesquita es va completar en 1986. El mausoleu del general Muhammad Zia-ul-Haq està adjacent a la mesquita.