Tarimin nimen alkuperästä on useampia eri tarinoita. Arabien kansanperinteessä esiintyvän yhden verison mukaan kaupunki sai nimensä alueen ensimmäisen asukkaan mukaan. Nimi esiintyy teksteissä islamia edeltävältä ajalta muodoissa trm ja trym.[1]

Islamin saapumisen jälkeen Tarim tuli tunnetuksi islamilaisen oppineisuuden keskuksena. Al-Hamadani kuvaili kaupunkia suureksi ja mainitsi kaksi omana aikanaan tunnettua tarimilaista oppinutta, Abu Kadrin ja Abu Bukayrin. Molempien sanottiin kuolleen martyyreinä Tarimissa vuonna 1179 tai 1181. Alueellisena islamilaisen oppineisuuden keskuksena Tarimin kanssa kilpaili sen naapurikaupunki Say'un. Myöhemmin kahdesta kaupungista tunnetummaksi kohosi Tarim. Tarim on myös säilyttänyt maineensa näihin päiviin saakka. Kaupnugissa on esimerkiksi useampia eri suvuille kuuluvia käsikirjoitusten kokoelmia.[1]