La idea de construir la mezquita de Kocatepe se remonta a la década de 1940. El 8 de diciembre de 1944, Ahmet Hamdi Akseki, vicepresidente de Asuntos Religiosos de Turquía, junto con setenta y dos socios fundadores, creó una sociedad conocida como "Sociedad para Construir una Mezquita en Yenişehir, Ankara." En 1947 esta sociedad solicitó proyectos elaborados por arquitectos, pero no se aceptó ninguno de los proyectos presentados.

En 1956, gracias a los esfuerzos de Adnan Menderes, primer ministro en aquel tiempo, se destinaron terrenos para la construcción de la mezquita en Ankara, y se volvió a realizar una solicitud de proyectos en 1957. Esta vez se evaluaron treinta y seis proyectos, y fue elegido el proyecto conjunto de Vedat Dalokay y Nejat Tekelioğlu.[1]​

El proyecto aceptado era innovador y moderno. La construcción comenzó, pero debido a las fuertes críticas de los conservadores por su diseño moderno, la construcción de detuvo en los cimientos. Vedat Dalokay construiría posteriormente una versión modificada de la mezquita de Kocatepe tras ganar el concurso internacional de la Mezquita Faisal en Islamabad, Pakistán en 1969. Esta mezquita, con capacidad para 24000 fieles, es una de las mayores del mundo, y es considerada por muchos como la frontera de la arquitectura islámica moderna.

Tras un tercer concurso arquitectónica en 1967, se eligió un diseño más conservador y nostálgico, de los arquitectos Hüsrev Tayla y M. Fatin Uluengin. Completado en 1987, el proyecto es de estilo otomano neoclásico,[2]​ y es un edificio ecléctico inspirado en la mezquita de Selim en Edirne, y las mezquitas Sehzade y Azul en Estambul.