Vietovė gyvenama nuo priešistorinių laikų. Miesto užuomazgos čia pradėjo kurtis dar III tūkstantmetyje pr. m. e. ir siejamos su čia suklestėjusia Baktrijos-Margianos archeologine kultūra. Su Mervu siejamas Avestos komentaruose (Zende) minimas Mouru miestas. Ten teigiama, kad tai viena iš 16 puikiųjų žemių, sukurtų Ahūra Mazdos.

Achemenidų Persijos laikais Mervas pateko į persų įtaką, ~515 m. pr. m. e. datuojami Behistuno įrašai Mervą (Margu) mini kaip vieną iš imperijos satrapijų. Nors Aleksandras Makedonietis šiame mieste nesilankė, tačiau kraštą užėmus graikams pavadintas Aleksandrija (sen. gr. Ἀλεξάνδρεια). Po Aleksandro mirties, miestas pervadintas Antiochija Margianoje (sen. gr. Ἀντιόχεια τῆς Μαργιανῆς), tapo Margianos krašto sostine, valdytas graikų baktrų, Seleukidų, Partų, Sasanidų. Valdant pastariesiems, Mervas buvo svarbus kultūrinis, religinis centras. Čia kaldintos Sasanidų monetos, buvo budistų, zoroastrų, manichėjų, Rytų krikščionių bažnyčios. VI–XIII a. Mervas buvo Rytų Bažnyčios vyskupijos centru.

VII a. vid. Mervą užkariavo kalifo Umaro vadovaujami musulmonai. Miestas tapo Omejadų kalifatui pavaldaus Chorasano sostine. Arabai Merve įsiteigė didelę koloniją ir karinę stovyklą ir iš čia rengė žygius į Vidurinę Aziją. Kinų kronikininkas Du Huan aprašė, kad VIII a. Merve sugyveno drauge persai ir arabai. VIII a. vid. Abu Muslimas Merve pradėjo sukilimą prieš Omejadus ir, juos nuvertęs, įkūrė Abasidų dinastiją. Abasidų laikais Mervas buvo klestintis miestas prie šilko kelio. Čia atsirado eretišku laikytas Al Mukanos religinis judėjimas, apjungęs zoroastrizmo ir islamo bruožus. Greta Samarkando ir Bucharos, Mervas buvo vienas svarbiausių to meto mokslo centrų Vidurinėje Azijoje.

821 m., nusilpus Abasidų kalifatui, miestą ėmė valdyti persiškos kilmės dinastijos – Tahiridai, Safaridai, Samanidai, Ghaznevidai. 1037 m. Mervą užėmė iš stepių atsikėlę Seldžiukai. Miestas tapo labai svarbiu kariniu, kultūriniu Seldžiukų centru. Tuo metu Mervas pasiekė savo klestėjimo viršūnę, amžininkų vadintas „Rytų islamo pasaulio sostine“, „pasaulio motina“ ir kt. Veikė didelis turgus, biblioteka. Spėjama, kad XII a. čia galėjo gyventi ~200 tūkst. žmonių.

Antroje XII a. pusėje miestą ėmė puldinėti naujai atsikeliančios tiurkų gentys, Mervą Chorasane ėmė stelbti Nišapuras. 1221 m. miestą suniokojo mongolų kariauna, vadovaujama Tolujaus. Dauguma miesto gyventojų žiauriai nužudyta, Mervo reikšmė sunyko. Vėliau miestas prijungtas prie Ilchanato, bet buvo siaubiamas Čagatajaus chanato. 1380 m. tapo Timūro imperijos dalimi, o 1505 m. užimtas uzbekų. Sefevidų laikais pastatyta užtvanka, miestas kiek atsigavo. Tačiau vėl prasidėjo uzbekų antpuoliai, kol galiausiai 1788–1789 m. Mervą galutinai suniokojo Bucharos emyrato kariauna. Likę gyventojai (persiškai kalbantys šiitai) persikėlė į Zeravšano slėnį ir išlaikė savo tapatybę iki šiol. XIX a. greta buvusio Mervo susikūrė dabartinis Maro miestas.