Название Vannes происходит от венетов, приморского кельтского племени, проживавшего в юго-западной части Арморики до вторжения римлян в Галлию. Венеты активно торговали с соседями-бриттами; весомой составляющей этой торговли было зерно, выращенное на Ближнем Востоке. Свидетельством этого являются галльские и белгские монеты примерно 150 г. до н. э., обнаруженные в устье Темзы.

В 56 году до н. э. венеты были разбиты римским флотом в районе нынешнего поселка Локмарьякер (Битва при Морбиане); многие венеты были либо убиты, либо проданы в рабство. На их территории римляне построили город, который назвали Дариоритум (Dariorigum). В V—VII веках оставшиеся галлы были вытеснены или ассимилированы волнами иммигрантов-бриттов, спасавшихся от вторжений саксов в Британию. Под Бретонским названием Гвенед (также производным от венетского) город был центром независимого герцогства или королевства, называвшегося Бро-Венед или Бро-Эрег (на бретонском «Ваннете» или «земля Гверега», по имени одного из его первых правителей Вароха I (Гверега), считавшего себя потомком Карадога Сухорукого. В V веке была основана епархия Вана, в 461 году прошел Ванский собор. При короле Юдикаэле (около 635 года) Бро-Венед был присоединен к королевству Домнония. Ванн служил резиденцией герцогов Бретонских; позже здесь заседал парламент Бретани.

В 753 году король франков Пипин Короткий разгромил бретонцев и занял Ван. Для сдерживания бретонцев, он организует буферную зону, Бретонскую марку, территорию поздних графств Ренн, Нант, Ван и часть Мэна. Ван стал одной из столиц новой марки. В сентябре 818 года король франков Людовик I Благочестивый собрал в Ване большую армию, с которой выступил против бросившего ему вызов короля Бретани Морвана. При герцоге Номиноэ Ван — один из главных городов герцогства Бретань. Частично разрушенный во время нашествий норманнов в X веке, город пережил много осад, прежде чем стать любимой резиденцией герцогов Жана V и Жана VI.

В 1342 году во время Войны за бретонское наследство Ван четыре раза осаждался войсками обеих сторон. Командующий городской обороной Оливье де Клиссон IV был взят в плен англичанами, но затем освобожден. Французы сочли, что выкуп за освобождение был необычайно низким и казнили его по обвинению в измене.

В 1759 году Ван использовался как плацдарм для французского вторжения в Британию. Была собрана большая армия, но она так и не смогла выйти в море после поражения французского флота в сражении в бухте Киброн в ноябре 1759 года. В 1795 году, во время Великой Французской революции, французские войска, базирующиеся в Ване, успешно предотвратили запланированное вторжение роялистов при поддержке Англии.