Kum isminin aslı 'Kume' ismine dayanmaktadır. Burada şehir kurulmadan önce bolca su kuyuları vardı. Çobanlar koyunlarına hem su vermek hem de su kuyularının etrafındaki yeşilliklerde onları otlatmak için buralara gelirlerdi. Uzun süre buralarda kalmak zorunda kaldıklarından, zamanla 'Kume' denilen geçici çardaklar yaptılar. Bunlar çoğalınca da orada bir köy oluştu. Yavaş yavaş büyüyerek bir şehir haline geldi ve aynı isimle Kume, Kum olarak sadeleştirildi.

Diğer bir rivayete göre ise 'Kum' ismi Arapça'daki 'Gum' (kalkmak) isminden gelmedir.

Kum'un hangi devirde ve kimler tarafından kurulduğu bilinmese de şehrin en eski tarihi kalıntısı olan ve günümüze kadar kalmayı başarmış bir sütun Ahameniş devleti devrinden kalmadır. Sütunun bu devletin hükümdarlarından Tehmors tarafından yaptırıldığı söylenmektedir. Yine Büyük İskender'in bu devirlerde şehri yıktığı kaynaklarda yer almaktadır.

Şehrin Sasaniler döneminde meşhur olduğu konusunda şüphe yoktur. Şehnâme-i Firdevsî'de üç yerde Kum'dan söz edilmektedir. Ayrıca bu devirde yazılan 'Hüsrev, Kevazan ve Rizek' adlı bir kitapta Kum'un adından ve safranının tadının güzelliğinden söz edilmektedir.

Kum, 645'te halife Ömer zamanında Ebu Musa el Eş'ari veya Ahnef bin Kays tarafından alınarak İslam hakimiyetine girdi.