Det finns ett antal olika meningar om när och varför citadellet byggdes. Några tror att Bam grundades under Parternas imperium, ett mäktigt Persiskt rike som blomstrade på 900-talet. Ekonomiskt och kommersiellt var Bam en mycket viktigt plats i regionen och kläder och textilier från området var berömda. Ibne-Haugal (943–977), den arabiska resenären och geografen skrev om Bam i sin bok Surat-ol-arz: Däröver väver de utmärkta, vackra och hållbara bomullstyger som sänds till avlägsna länder och städer. Där gör de även utmärkta kläder, vart och ett kostar omkring 30 dinarer; dessa säljs i Khorosan, Irak och Egypten.

Arg-é Bam har en historia som daterar sig omkring 2 500 år tillbaka till partiska perioden, men de flesta byggnader byggdes under Irans Safaviddynasti. Staden övergavs på grund av en afghansk invasion år 1722, vilken besegrade en svag iransk regering och gjorde slut på Safaviddynastins makt. Efter att staden gradvis blivit återbefolkad, övergavs den en andra gång på grund av en invasion från Shirazregionen. Den användes även en tid som armébaracker.