La ciudad de Kermán se fundó como un fortificación militar bajo el nombre de Behdesīr por Ardeshir I, fundador del Imperio sasánida, hacia el siglo III a. C. Tras la batalla de Nihavand en el 642 d. C. la ciudad cayó bajo dominio árabe-musulmán. Debido a su aislamiento, las poblaciones jariyíes y zoroastrianas pudieron desarrollarse. Sin embargo, los jariyíes fueron aniquilados en 698, y hacia 725 la mayoría de la población era mayoritariamente musulmana. Desde el siglo VIII la ciudad ya era reconocida por la manufactura de chales de cachemira y otras fibras textiles. A causa de la débil autoridad ejercida por el Califato Abasí en la región, la posesión de la ciudad pronto pasó a la Dinastía búyida en el siglo X, la cual mantuvo el control aun cuando la región y la ciudad cayeron ante los ejércitos de Mahmud de Ghazni. El nombre de Kermán fue adoptado en algún momento durante el transcurso del siglo X.[1]​

Kermán estuvo bajo el dominio de los turcos selyúcidas durante los siglos XI y XII, quienes conquistaron Omán y Fars, aunque la ciudad se mantuvo relativamente independiente.[2]​ Cuando Marco Polo visitó la ciudad, en 1271, esta ya se había convertido en un importante punto en la ruta comercial que conectaba el golfo Pérsico con Jorasán y el Asia Central.[3]​ Posteriormente la ciudad fue saqueada en varias ocasiones por distintos invasores. Kermán continuó su desarrollo durante la Dinastía safávida, período durante el cual se exportaban alfombras a Inglaterra y Alemania.

En 1793, Lotf Ali Khan derrotó a los qayares y en 1794 capturó Kermán. Sin embargo, este habría de ser sitiado en la ciudad por Aga Muhammad Kan durante seis meses. Al caer la ciudad en poder de Aga Muhammad Kan, este mandó cegar o asesinar a toda la población masculina de la ciudad por el apoyo que la población había brindado a Lotf Ali Kan. Alrededor de 20 000 ojos fueron extraídos y apilados frente al victorioso Aga Muhammad Kan.[4]​ Las mujeres y los niños fueron esclavizados y la ciudad fue destruida durante el transcurso de noventa días.

La ciudad fue reconstruida en el siglo XIX al noroeste de la antigua ciudad; sin embargo, no recuperó su tamaño hasta el siglo XX.