Αρχαιολογικά στοιχεία δείχνουν ανθρώπινη παρουσία στην περιοχή της συμβολής των Σχελντ και Λυς από τη Λίθινη Εποχή και την Εποχή του Σιδήρου. Οι περισσότεροι ιστορικοί πιστεύουν πως το παλαιότερο όνομα της Γάνδης, το "Ganda", προέρχεται από την Κέλτικη λέξη "ganda" που σημαίνει συρροή. Δεν υπάρχουν γραπτές αναφορές της Ρωμαϊκής περιόδου αλλά αρχαιολογική έρευνα επιβεβαιώνει πως η περιοχή της Γάνδης κατοικείτο.

Όταν οι Φράγκοι εισέβαλαν στις ρωμαϊκές περιοχές (από το τέλος του 4ου αιώνα μέχρι και τον 5ο αιώνα), έφεραν μαζί τους και τη γλώσσα τους και τα κελτικά και λατινικά αντικαταστάθηκαν από τα (παλαιά) ολλανδικά.

Γύρω στο 650 ο άγιος Αμάντ (Saint Amand) ίδρυσε δύο αβαεία στη Γάνδη: Το Αβαείο Αγίου Πέτρου και το Αβαείο του Αγίου Μπάβο. Η πόλη αναπτύχθηκε γύρω από διάφορους πυρήνες, τα αβαεία και ένα εμπορικό κέντρο. Γύρω στο 800 ο Λουδοβίκος ο Ευσεβής, γιος του Καρλομάγνου, όρισε τον Έινχαρντ, βιογράφο του Καρλομάγνου, ηγούμενο και των δύο αβαείων. Το 851 και το 879, ωστόσο, η πόλη έπεσε δύο φορές θύμα επίθεσης και λεηλασίας από τους Βίκινγκς.

Η πόλη συνήλθε και αναπτύχθηκε από τον 11ο αιώνα και μετά. Μέχρι τον 13ο αιώνα η Γάνδη ήταν η μεγαλύτερη πόλη στην Ευρώπη μετά το Παρίσι. Ήταν μεγαλύτερη από το Λονδίνο, την Κολωνία και τη Μόσχα. Εντός των τειχών της πόλης ζούσαν περίπου 65.000 κάτοικοι. Σήμερα, το κέντρο της πόλης έχει ακόμα πολλούς μεγάλους πύργους. Το καμπαναριό και οι πύργοι του Καθεδρικού και της Εκκλησίας Σιντ-Νίκλας είναι απλά μερικά παραδείγματα αυτού που θα μπορούσε να αποκληθεί "Μανχάτταν του Μεσαίωνα".

Οι ποταμοί έρρεαν σε μια περιοχή γης που σε μεγάλο μέρος της πλημμύριζε περιοδικά. Αυτά τα πλούσια πράσινα "meersen" ("νερο-λιβάδια") ήταν ιδανικά για βόσκηση προβάτων, το μαλλί των οποίων χρησιμοποιείτο για την κατασκευή ρούχων. Όντως, η Γάνδη κατά τον μεσαίωνα ήταν η πιο σημαντική πόλη κατασκευής υφασμάτων και ενδυμάτων.

Το 1500 η Ιωάννα Α΄ της Καστίλης γέννησε τον Κάρολο Κουίντο, ο οποίος έγινε αυτοκράτορας της Αγίας Ρωμαϊκής Αυτοκρατορίας και βασιλιάς της Ισπανίας. Αν και η Γάνδη ήταν η γενέθλια πόλη του, τιμώρησε αυστηρά την επανάσταση της πόλης το 1540 και τους υποχρέωσε να περπατήσουν μπροστά στον αυτοκράτορα με γυμνά πόδια και με μια θηλιά (Ολλανδικά: strop) γύρω από το λαιμό. Από το γεγονός αυτό οι κάτοικοι της Γάνδης ονομάζονται "Stroppendragers" (φέροντες θηλιά).

Τα τέλη του 16ου αιώνα και ο 17ος αιώνας έφεραν πολλές αναταραχές εξαιτίας των Θρησκευτικών πολέμων. Κάποια στιγμή η Γάνδη ήταν καλβινιστική πόλη, αλλά τελικά ο Ισπανικός στρατός επανεγκατέστησε τον καθολικισμό.

Τον 18ο και 19ο αιώνα η υφαντική βιομηχανία άνθισε πάλι στη Γάνδη.

Η Γάνδη ήταν επίσης η τοποθεσία όπου υπεγράφη η Συνθήκη της Γάνδης, με την οποία τερματίστηκε επίσημα ο πόλεμος του 1812 μεταξύ της Βρετανίας και των ΗΠΑ. Μετά τη μάχη του Βατερλώ η Γάνδη έγινε μέρος του Ηνωμένου Βασιλείου των Κάτω Χωρών για 15 χρόνια. Την περίοδο αυτή η Γάνδη απέκτησε το δικό της πανεπιστήμιο (1817) και μια νέα σύνδεση με τη θάλασσα (1824-27).

Μετά τη Βελγική Επανάσταση το πρώτο Βελγικό εργατικό σωματείο δημιουργήθηκε στη Γάνδη. Το 1913 έλαβε χώρα στη Γάνδη μια Παγκόσμια Έκθεση.[1] Ως προετοιμασία για τις εορταστικές αυτές εκδηλώσεις ολοκληρώθηκε ο σιδηροδρομικός σταθμός Σιντ-Πίτερς.