Qomin varhaisesta historiasta tiedetään vain vähän. Kaupunki on perustettu ehkä vuoden 1000 eaa. paikkeilla. Kaupungin eteläpuolelta on löydetty jäänteitä laajoista asutuksista 4. vuosituhannen ja 1. vuosituhannen väliseltä ajalta eaa.[1] Kaupunki tuli sittemmin tunnetuksi sahramista. Joidenkin todisteiden mukaan Aleksanteri Suuren armeijat tuhosivat tuolloin nimellä Kumandan (kum on suomeksi muurit) tunnetun kaupungin vuonna 330 eaa. Kaupunki on ollut pitkään uskonnollisen elämän keskus ja ennen islamin saapumista siellä vaikutti zarathustralaisuus. Parthian valtakaudella kaupungissa oli zarathustralainen tulitemppeli ja sasanidikuningas Kavadh I:n kaudella kaupunki kasvoi ja siitä tuli ilmeisesti paikallinen hallinnollinen keskus. Sasanidien ajalta kaupungista ja sen kaupunkimaisesta asutuksesta on runsaasti arkeologista aineistoa ja historiallisia mainintoja. Siellä vaikuttivat ainakin kuninkaat Ardašir I, Šāpur I (Shapur) ja Kawād I.[1] Arabit valloittivat Persian vuonna 643, mutta Qom säilyi merkittävänä zarathustralaisuuden keskuksena vielä 200 vuotta tämän jälkeen.[2]

 

Fatiman pyhättö.

Islamilaisen tarinan mukaan 600-luvulla kalifi Ali ibn Abi Talib ja Husain ibn Ali saivat surmansa sunnalaisten vastustajiensa käsissä. Joukko heidän seuraajansa eli šiialaisia arabeja muutti vuonna 685 Qomiin pakoon umaijadien valtakunnan alueella tapahtunutta vainoa. Seuraavan vuosisadan aikana suurin osa kaupungin väestöstä kääntyi šiialaisuuteen. 800-luvun alkupuolella šiialaisen kalifi Imaami Rezan sisko Fatima bint Musa pysähtyi kaupungissa ollessaan matkalla pohjoiseen. Hän sairastui ja kuoli vuonna 816, jonka jälkeen hänet haudattiin Qomiin. Haudasta muodostui šiialaisten pyhiinvaelluskohde, jonka takia kaupungista alkoi myös muodostua šiialaisen oppineisuuden keskus. Vuosina 950–1055 hallinneet šiilaiset buwaihidit rakensivat ensimmäisen merkittävän pyhätön Fatiman haudalle. Myöhemmin kaupunkia hallitsivat sunnalaiset seldžukit, joiden valtakauden lopulla kaupungissa syntyi assassiinit myöhemmin perustanut Hassan-i Sabbah. Kun Timur Lenk valtasi kaupungin vuoden 1381 paikkeilla kaupunki hävitettiin ja suurin osa sen asukkaista surmattiin.[2]

 

Qomin kaupunkia piirroksessa vuodelta 1723.

1500-luvulla Persiassa nousivat valtaan safavidit, jotka tekivät šiialaisuudesta valtionuskonnon. Tällöin Qomin uskonnollinen merkitys nosti sen vaikutusta. Neljä safavidien šaahia haudattiin Fatiman pyhätön takana olevaan moskeijaan. Myös muut Persian hallitsijat ja korkea-arvoiset virkamiehet rakennuttivat hautamonumenttejaan Fatiman pyhätön ympärille. Vuoteen 1850 mennessä Fatiman haudasta oli muodostunut Persian tärkein šiialainen pyhiinvaelluspaikka heti Mašhadin jälkeen, jonne on haudattu Fatiman veli imaami Reza. Vaikka kaupungin merkitys pyhiinvaeltajille kasvoi, sen maine oppineisuuden keskuksena laski. Yksi syy tälle oli vuosina 1870–1871 koettu ankara nälänhätä, jonka myötä kaupungin asukasluku tippui 25 000:sta noin 14 000:een. Tilanne alkoi korjaantua 1900-luvun puolella, jolloin brittien haltuunottaman Irakin alueen šiialaisista keskuksista Najafista, Kufasta ja Karbalasta muutti opiskelijoita Qomiin ja heidän mukanaan esimerkiksi nuori Ruhollah Khomeini.[2]

Khomeini johti Qomissa suuria mielenosoituksia Persiassa hallinnutta Pahlavin dynastiaa vastaan. Vuonna 1963 hallituksen turvallisuusjoukot tukahduttivat mielenosoitukset verisesti ja Khomeini pakeni Najafiin Irakin puolelle. Vaikka hän joutui elämään maanpaossa hän säilytti vaikutusvaltansa etenkin Qomin uskonnonopiskelijoiden keskuudessa. Hän teki ääninauhoja, jotka kuljetettiin Persiaan ja joita esitettiin moskeijoissa. Vuonna 1975 noin 1 000 opiskelijaa valtasi rakennuksen lähellä Fatiman pyhättöä. Turvallisuusjoukot kukistivat heidät jälleen usean opiskelijan saadessa surmansa. Tapahtumien jälkeen surmattujen muistolle alettiin järjestää suuria muistotilaisuuksia, jotka nekin huipentuivat verilöylyyn tammikuussa 1978, josta alkoi Iranin vallankumous. Viimeinen šaahi pakeni maasta vuonna 1979. Khomeini palasi maahan ja perusti islamilaisen tasavallan. Vaikka maan varsinainen pääkaupunki on Teheran, pidetään Qomia usein vallankumouksellisena symbolisena pääkaupunkina.[2]

Qom oli vuonna 2020 yksi Iranin koronavirusepidemian keskuksista. Maan hallinnon mukaan Iranin kaksi ensimmäistä taudin saanutta kuolivat Qomissa huhtikuussa 2020. Kaupungin uskonnollisten matkustajien keskuudessa suosittuja pyhättöjä pidettiin aluksi auki ja ne suostuttiin sulkemaan vasta jonkin aikaa epidemian alkamisesta.[3]