Δείτε επίσης: Ιστορία της Κορσικής

Αρχαιολογικές ανασκαφές που πραγματοποιούνται κατά μήκος της ακτής και στην ενδοχώρα δείχνουν ότι ο όρμος είχε κατοικηθεί από τη νεολιθική εποχή (5.000 έως 2.500 χρόνια π.Χ.). Τα ευρήματα που ανακαλύφθηκαν δείχνουν τις κύριες τοποθεσίες: την παραλία της Άλγκα, το Ρακού, τη χερσόνησο Ρεβελάτα στη θάλασσα, και στο εσωτερικό, το οροπέδιο Σέρα και το Γκρότα Ανέλου, όλοι σημαντικοί χώροι για την προϊστορία της πόλης.

Λίγα είναι γνωστά για την πρώιμη ιστορία, αλλά οι Φοίνικες, οι Φωκαείς και οι Ετρούσκοι είχαν ήδη οικισμούς στην περιοχή του σημερινού Καλβί. Οι Ρωμαίοι έχτισαν έναν οικισμό που ονόμασαν Sinus Caesiae (πιθανώς επίσης Sinus Casalus) στην περιοχή της Κάτω πόλης, από την οποία προέρχεται το σημερινό Καλβί. Κατά τη ρωμαϊκή εποχή το Καλβί ήταν ένα ασφαλές καταφύγιο για τους εμπορικούς στόλους και συγχρόνως στρατιωτική και ναυτική βάση. Τον 2ο αιώνα μ.Χ., ο Αλεξανδρινός γεωγράφος Πτολεμαίος (90-168) χαρακτήρισε την πόλη ως «το πιο γνωστό λιμάνι του νησιού».

Τον 11ο αιώνα, μετά τις επιθέσεις των Σαρακηνών, τη διακυβέρνηση της Κορσικής ανέλαβε η Πίζα, η οποία κατέλαβε την πόλη. Μετά από διαμάχες μεταξύ της Πίζας και της Δημοκρατίας της Γένοβας σχετικά με την κυριότητα του νησιού, ακολούθησε μια ταραχώδης περίοδος με την εναλλαγή της κυριαρχίας μεταξύ των κορσικανών ευγενών, της Γένοβας και του βασιλείου της Αραγονίας. Το 1278, οι κάτοικοι του Καλβί ζήτησαν από τη Γένοβα υποστήριξη κατά των τοπικών ευγενών. Έτσι η πόλη πέρασε στην εξουσία της Γένοβας, η οποία επέκτεινε την ακρόπολη, της χορήγησε αυτόνομο καθεστώς και πολλά προνόμια. Οι ντόπιοι ευχαρίστησαν τη Γένοβα υποσχόμενοι πίστη, ακόμη και κατά τη διάρκεια των αγώνων για ανεξαρτησία. Σήμερα, στην είσοδο της άνω πόλης υπάρχει το λατινικό σύνθημα Civitas Calvi semper fidelis  (Η πόλη του Καλβί είναι πάντα πιστή).

Τον 16ο αιώνα, οι Γάλλοι προσπάθησαν να κατακτήσουν την περιοχή εκδιώκοντας τους Γενουάτες. Το Καλβί αντιστάθηκε στους επίδοξους νέους κατακτητές αν και τελικά η Κορσική πέρασε προσωρινά στην κυριαρχία των Γάλλων από το 1553 έως το 1559, οπότε και επανήλθε η κυριαρχία της Δημοκρατίας της Γένουας.

Τον 18ο αιώνα υπήρξε μια σύντομη περίοδος ανεξαρτησίας της Κορσικής υπό τον Πασκουάλε Πάολι, η οποία τελείωσε με την προσάρτηση της Κορσικής στη Γαλλία το 1768. Όταν ο Πάολι προσπάθησε να επαναφέρει την Κορσική υπό την επιρροή του με την υποστήριξη του Βασιλείου της Μεγάλης Βρετανίας, το Καλβί καταστράφηκε σε μεγάλο βαθμό από το βρετανικό στόλο το 1793.

Μετά την ανεξαρτησία της Αλγερίας (1962) και τη συνακόλουθη απώλεια των γαλλικών εδαφών στη Βόρεια Αφρική, το 1967 στο Καλβί εγκαταστάθηκε το δεύτερο σύνταγμα της Λεγεώνας των Ξένων.