Madurai és la ciutat més vella que amb seguretat fou contínuament habitada. Jo ho era potser vers 500 aC i en tot cas vers 300 aC quan fou visitada per Megastenes i fou centre de l'estat dels pandyes; més tard molt romans i grecs van estar a Madurai i segurament hi ha haver un establiment comercial romà i soldats romans van servir als reis pandyes. Claudi Ptolemeu esmenta Pandion al cotat oriental del cap Comorin. L'autor del Periplus descriu la costa malabar sota el rei Pandion. Inscripcions a les roques donen noms i títols dels reis pandyes. Una crònica local en sànscrit, la Mathura Sthara Purana, escrita vers el 1000, done també força informació. El darrer rei pandya independent fou Sundara Pandya al final del segle X que seria el Kun Pandya de les llegendes tàmils, que va exterminar als jains i va conquerir el regne de Cola, per acabar sent enderrocat pels mateixos coles que haurien obtingut alguna aliança externa.

El coles van fer vassalls als pandyes i encara que aquestos van retornar a governar de manera independent, vers el 1324 Madura fou ocupada per Malik Kafur i el 1372 va passar a l'imperi de Vijayanagar.

Segurament per extinció de la dinastia pandya, el rei de Vijayanagar va nomenar un nayak (virrei) vers el 1521. Sota els nayaks es va establir el sistema feudal. La ciutat de Madura tenia 72 torres i cadascuna era encarregada a un feudatari junt amb una part definida del territori, a canvi de serveis militars; aquests castellans van esdevenir els 72 poligars (palegars, palaylams, palaykarans i altres variants del nom) o senyors feudals alguns dels quals van subsistir fins a la llei que els va abolir el 1953 (i de fet fins a 1955). El principal d'aquestos (formalment declarat el primer noble el 1605) fou el setupati de Maravar (Ramnad); el seu estat va subsistir després de la descomposició de Madura, però el 1729 es va dividir entre el setupati de Ramnad i un rebel que va agafar el títol de raja de Sivaganga.

El nayak va esdevenir independent de fet a la segona meitat del segle xvi i de dret a la primera meitat del segle xvii. Vegeu Regne Nayak de Madura.

Ocupada pels britànics en les guerres del Carnàtic el 1760, va quedar en poder nominal del nawab d'Arcot pel Tractat de París (1763) confirmat per l'emperador mogol el 1765. El 1783 els britànics la van ocupar i el 1790 la van incloure en un districte. Va esdevenir capital de districte després del 1801 quan el nawab d'Arcot va haver de cedir els seus dominis als britànics. El 1866 es va constituir la municipalitat.