De oorsprong van Merv gaat terug tot het 3e millennium v.Chr., als deel van het archeologisch complex Bactrië-Margiana. De stad wordt samen met Balch vermeld in de Zend-Avesta.

De stad behoorde tot de rijken van de Parthen en de Sassaniden. Onder de Achaemeniden wordt Merv genoemd als zijnde een plaats van enig belang. Als Margu (Latijn: Margiana) wordt ze vermeld als deel van een van de satrapieën in de Behistuninscriptie (ca. 515 v.Chr.) van Darius I. De oude stad lijkt te zijn hergesticht door Cyrus de Grote (559 tot 530 v.Chr.).

De stad werd Alexandria Margiana vernoemd naar de Macedonische veroveraar Alexander de Grote. Tijdens het Seleucidisch bestuur veranderde de naam in Antiochië, als eerbetoon aan de dynastie der Seleuciden.

In de jaren twintig van de 5e eeuw had Merv een bisschop en het werd in 544 een metropoliet van de Oosterse (Nestoriaanse) Kerk. Merv was een ideale uitvalsbasis voor missies naar het oosten, naar de Turkse stammen in Centraal-Azië en naar China. Rond 500 werden belangrijke werken uit het Grieks en Oudsyrisch naar Centraal- en Oost-Aziatische talen vertaald door geleerden in Merv. Merv had vanaf de 6e tot ver in de 13e eeuw een rijke christelijke intellectuele en spirituele geschiedenis. Geleerden van Merv beschikten over Oudsyrische versies van Aristoteles, toen die in West-Europa waren vergeten. De geniale Isho'dad, een van de grootste Oudsyrische geleerden, droeg de titel 'van Merv'. Door de wedijver met andere geloven moest er door de geleerden een hoog intellectueel peil worden gehaald.

In 651 werd de stad door de Arabieren van het Islamitisch Kalifaat veroverd. Door haar gunstige ligging aan de Zijderoute had de oasegemeenschap een bloeitijd in de loop van de Middeleeuwen. Vanaf de 8e eeuw was de stad een uitvalsbasis voor de moslims, die richting Centraal-Azië wilden uitbreiden.

Halverwege de 12e eeuw was Merv even een van de grootste steden op aarde met 200.000 inwoners. Het was ook een paar eeuwen een van de grootste christelijke centra van de wereld. Christenen leefden onder de islamitische heerschappij vreedzaam samen met boeddhisten, zoroastrianen en manicheïsten. Wijd en zijd was Merv bekend om haar samenstelling van oude en nieuwe geloven. In de 8e eeuw was Merv de thuisbasis van al-Moeqanna, de Gesluierde Profeet, die de vleesgeworden God beweerde te zijn.

De geschiedenis van Merv bewijst dat het 'Semitisch christendom' tot in het tweede millennium overleefde en dat Aziatische christenen er als een getolereerde minderheid in een volstrekt niet-Europese context leefden. Het verhaal van een bijzonder vitale tak van de christelijke traditie, buiten de grenzen van het Romeinse Rijk, in Afrika en Azië, is vaak onderbelicht als de geschiedenis van het christendom wordt doorverteld.

In 1221 werd de stad veroverd door een Mongools leger onder Tolui Khan, zoon van Dzjengis Khan, als reactie op de executie van 450 handelaren die ervan werden verdacht Mongoolse spionnen te zijn. Vierhonderd inwoners van Merv werden meegenomen om als ambachtslieden te werken, de rest werd geëxecuteerd. De stad zelf werd voor het grootste deel verwoest.

Een generatie na de vernietiging van Merv schreef de Perzische historicus Juvayni:

De Mongolen bevolen dat, afgezien van vierhonderd ambachtslui ... de gehele bevolking, met inbegrip van de vrouwen en kinderen, moest worden gedood, en niemand, of vrouw of man, mocht worden gespaard. Elke Mongoolse soldaat was de executie van drie tot vierhonderd Perzen toegewezen. Zoveel werden gedood dat bij het vallen van de avond de bergen tot heuvels werden, en de vlakte was doordrenkt met het bloed van de machtigen.

Sommige historici geloven dat meer dan een miljoen mensen stierven in de nasleep van de verovering, met inbegrip van honderdduizenden vluchtelingen van elders, wat het tot een van de grootste bloedbaden uit de wereldgeschiedenis zou maken.

De Mongoolse invasie was het einde voor Merv en andere belangrijke centra voor meer dan een eeuw. In het begin van de 14e eeuw werd de stad de zetel van een christelijk aartsbisdom van de Oosterse Kerk. Tot 1380 behoorde Merv tot het rijk van Timoer Lenk.