Wann genau der Bau entstand ist ungeklärt, er wird ungefähr auf das 10. Jahrhundert datiert (Ismail regierte Chorasan von 900 bis 907). Architektonisch lehnt sich der Bau an einen Gebäudetypus an, der aus der Sassanidenzeit bereits bekannt war – dem zoroastrischen Feuertempel. Cohn-Wiener vermutete, dass es sich um das früheste islamische Kuppelgrab (Qubba) überhaupt handelt. Früher waren im Bereich des Islams auch hochgestellte geistliche und weltliche Personen lediglich in schlichten Erdgräbern beigesetzt worden.

Das Samaniden-Mausoleum ist eines der wenigen erhaltenen Bauwerke in Buchara aus der Zeit vor dem Mongolensturm. Es stand einst im Zentrum eines Friedhofs und versank im Laufe der Zeit unter mehreren Sandschichten. Erst im 20. Jahrhundert wurde es vollständig freigelegt und anstelle des Friedhofs ein Park angelegt.