В оазі, що мала велике значення для торговельних зв'язків між заходом і сходом, існувало, змінюючи одне одного кілька міст. Археологічні розкопки свідчать, що люди жили тут ще в доісторичні часи. Під назвою Моуру Мерв згадується разом із Балхом (Бахді) в Зенд-Авесті — коментарях до Авести.

Мерв був столицею сатрапії Маргіана в часи Ахеменідів. Маргіана згадується як Маргу в бегістунському написі, висіченому на скелі за велінням Дарія I.

Відвідування міста Александром Македонським є легендою, хоча воно певний час носило назву Александрія. Після смерті Александра Мерв був столицею провінції Маргіана в складі спочатку держави Селевкидів, потім парф'ян, пізніше Сасанідів. За часів Антіоха Сотера місто перейменували в Маргіанську Антіохію.

Від періоду правління Сасанідів збереглися монети, карбовані у Мерві впродовж 4 століть. Для цього періоду характерна різноманітність релігійного життя: поряд із зороастризмом тут був поширений буддизм, маніхейство та християнство, зокрема несторіанство.

Араби завоювали Іран в 651, і Мерв став головним містом провінції Хорасан держави Омеядів. У 671 Зіяд ібн Абі Суф'ян послав у Мерв 50 тисяч арабських вояків, і місто стало базою розширення впливу арабів у Середній Азії. Під проводом Кутайби бін Мусліма араби звоювали Балх, Фергану, Бухару, Кашгар і проникли аж у Китай. В ці часи в Мерв переселилася значна кількість арабів.

У лютому 748 Мерв став столицею заколоту. Генерал Абу Муслім оголосив у ньому про заснування нової династії — Аббасидів. Впродовж правління Аббасидів, які захопили Багдад у 750, Мерв залишався суттєвою базою їхньої підтримки, а тому посада намісника в Мерві була однією із найпливовіших у халіфаті. З 813 по 818 халіф Аль-Мамун мав у Мерві тимчасову резиденцію, і місто було фактичним центром ісламського світу.

З ослабленням халіфату в Мерві правили вже не арабські, а перські династії Тагеридів, Саманідів, Газневидів.

У 1037 році Мерв мирно захопили турки-сельджуки, що рухалися на захід зі степів за Аралом. Мирній окупації сприяло те, що тодішній султан Масуд із династії Газневідів був дуже непопулярний. Сельджуки зупинилися в Мерві й поступово окупували весь Хорасан та Іран. У часи їхнього правління Мерв виріс до найбільшого розміру. З населенням 200 тис. він був, мабуть, у період з 1145 по 1153 рік, найбільшим містом у світі. Місто було визначним торговим та культурним центром, мало чудовий базар, велику бібліотеку, медресе.

Проте, в 1153 кочівники-огузи сплюндрували місто, і розпочався його поступовий занепад. Мерв переходив із рук у руки — його захоплювали огузи, хіванці, гуриди, а центр Хорасану перемістився в Нішапур.

У 1221 Мерв відчинив браму перед сином Чингіз-хана Толуя. Монголи вирізали більшість мешканців міста. Падіння міста було одним із найкривавіших в історії. Розкопки свідчать про те, що місто відбудувалося, але колишнього рівня процвітання Мерв уже не здобув. У 1380 місто потрапило у володіння Тимура, який тоді правив у Самарканді.

Узбеки захопили Мерв у 1505. Через п'ять років їх витурив звідти шах Ісмаїл I. В цей період перси відбудували дамбу на річці Мургаб, і на зрошених землях виросло поселення, відоме до 19 ст. як Байрамали. У 1787 Мерв був захоплений Бухарським еміратом. Через сім років бухарці зрівняли місто із землею, розбили дамби, і перетворили всю область у пустелю. 100 тис. населення було поетапно переселене в Бухарську оазу. Здебільшого це були персомовні шиїти. Вони опиралися асиміляції з бухарськими сунітами, тому частково зберегли свою ідентичність. У радянському переписі 1980 року вони визначали свою національність як іранці.

У середині 19 ст. іранці витіснили з берегів річки Харі туркменів-теке на північ, і, подолавши опір хіванців, туркмени заволоділи територією Мерву. Їхнє правління продовжувалося до 1883 року, коли навколишні землі опинилися в руках Росії.