En el siglo XV la dinastía Shirvanshah bajo Ibrahim I de Shirván transfirió la capital del país de Shemakha a Bakú, y emprendió la construcción del «palacio». Se cree que el edificio es un complejo memorial construido alrededor de un lugar sagrado de veneración (pir) y una tumba de Seyyid Yahya Bakuví quien era un santo sufí helwatí. Los Shirvansháhs eran patrones de la orden sufi jalwatí y el Shirvanshah Jalilulah I fue enterrado con su familia en los terrenos del palacio. Otros historiadores argumentan que el edificio fue usado como el palacio del gobernador, sin embargo ambas teorías padecen ausencia de evidencia. Se sabe sin embargo que los pozos dentro del terreno del palacio eran considerados como con cualidades sanadoras hasta hace poco, lo mismo que la colina donde fue construido el «palacio».

Tras la conquista safávida de Bakú en 1501, la orden sufí fue expulsado y a lo largo de los siglos el «palacio» empezó a caer en ruina, y fue conocido en Bakú como el palacio de los khanes de Bakú; este topónimo pasó a la historiografía rusa, citada por vez primera por Bartold.