L'origine du nom de Gabès nous fait conclure que la cité a été fondée par les Berbères bien avant l'arrivée des Phéniciens qui regroupent l'une de ses agglomérations en comptoir commercial. La ville reste carthaginoise jusqu'au IIe siècle av. J.-C. et la deuxième guerre punique puis devient une colonie romaine. L'oasis devient alors un centre commercial florissant rattaché à la Tripolitaine dont Pline célèbre avec emphase la fécondité du sol. La ville est encore très prospère sous la domination byzantine.

La ville est aussi le siège d'un évêché. Au début du Ve siècle, nous connaissons le catholique Dulcitius et le donatiste Felix. Dans la Noticia de 484, l'évêque se nomme Servilius alors qu'au concile de Carthage de 525, il s'appelle Gaius[1]. De nos jours, Tacapae est un siège titulaire.

Se trouvant sur une voie de communication importante, elle prend de l'importance avec l'arrivée des musulmans au VIIe siècle. Elle résiste à la première invasion, avant d'ouvrir ses portes aux Arabes. Sous les Fatimides, Gabès est le siège d'un royaume vassal dirigé par une famille ketama appelée les Loukman[1]. La ville, déjà prospère sous les Aghlabides et les Fatimides[2], semble atteindre son apogée sous les Zirides avant de s'affaiblir durablement par la suite[1].

Pour punir ces derniers d'avoir rompu leur lien de vassalité, le calife fatimide ordonne l'invasion hilalienne de l'Ifriqiya et attribue la région de Gabès à la tribu des Zoghbas. Avec l'aide des autres tribus hilaliennes, ces derniers battent les Zirides et s'installent à Gabès, où ils fondent un émirat indépendant. Avec l'instauration du royaume d'Afrique à Mahdia, ils deviennent vassaux de Roger II, roi normand de Sicile. Pendant la conquête des Almohades, Gabès soutient leur rival almoravide Ali ben Ghaniya, finalement battu à la bataille d'El Hamma. Toute l'Ifriqiya est alors placée sous contrôle almohade jusqu'à l'émergence des Hafsides. Sous le règne de ces derniers, Gabès a une dynastie locale entre 1282 et 1394 nommée « Banu Makki »[1].

Le géographe arabe Al-Bakri parle au VIIe siècle de Gabès comme d'une grande ville ceinte par une muraille de grosses pierres et parsemée de constructions antiques. Selon lui, la cité possède une forte citadelle, plusieurs faubourgs (situés à l'est et au sud du centre-ville), des bazars et des caravansérails, une mosquée « magnifique » et un grand nombre de bains. Le tout est entouré d'un large fossé inondable en cas de menaces extérieures. Ibn Hawqal (Xe siècle), le géographe Al Idrissi (XIIe siècle) et Léon l'Africain (XVIe siècle) confirment cette description. Ibn Khaldoun (XIVe siècle) qualifie la ville de métropole maritime[3].

L'arrivée des Ottomans en 1574 ne change pas la position de Gabès dans le commerce transsaharien dont les produits s'exportent depuis son port, qui reste néanmoins périphérique par rapport à Tripoli qui attire beaucoup plus de trafic[1]. Au XVIIe siècle, la ville est refondée pour des raisons encore inconnues et prend sa configuration actuelle avec l'établissement de différents bourgs modestes et sans défense[3]. Peu de traces subsistent de l'ancienne ville de nos jours.

En 1870, la ville est pillée par l'armée de Mustapha Khaznadar lors de l'insurrection d'Ali Ben Ghedhahem[1].

Avec l'arrivée de l'armée française en 1881, Gabès devient la plus importante garnison du sud de la Tunisie.

Le 19 mai 1941, lors d'un pogrom (en), plusieurs membres de la communauté juive locale sont assassinés lors d'émeutes antisémites[4],[5]. Passée sous contrôle allemand en 1942, la ville est quasiment détruite dans les combats de la campagne de Tunisie (1943). Reconstruite à partir de 1945, elle est à nouveau dévastée par des crues en 1962[6].