Le musée a été fondé en 1967. Son inauguration officielle s’est tenue en 1972. De 1967 à 1993, le musée s'appelle le musée d'État du tapis et des arts populaires appliqués[1]. Les premiers temps, il était situé dans la vieille ville, dans le bâtiment de la mosquée Djuma[2].

Au début des années 1990, le musée a déménagé dans l'immeuble du Centre des musées, sur l’avenue Neftchilar[2]. De 1993 à 2014, le musée s'appelle le musée d'État du tapis et des arts appliqués[1].

La loi de 2004 sur la préservation et le développement du tapis azerbaïdjanais confère un rôle central au musée dans cette nouvelle mission de préservation du patrimoine culturel[1]. La cérémonie de pose de la première pierre du nouveau musée du tapis a eu lieu le 17 mai 2008[3], à laquelle ont participé le Président d’Azerbaïdjan Ilham Aliyev et le directeur général de l’UNESCO, Kōichirō Matsuura. Le nouveau bâtiment du musée a été construit en forme du tapis roulé[2]. En 2010, l'art du tissage du tapis azéri est inscrit au patrimoine culturel immatériel de l'humanité[3]. Depuis 2014, le musée s'appelle le musée national du tapis[1].