Στον 2ο αιώνα π.Χ, το μεγαλύτερο μέρος της φυλής των Βοΐων εξωθήθηκε μέσω των Άλπεων έξω από την Ιταλία από τους Ρωμαίους. Αυτοί ίδρυσαν μια νέα πρωτεύουσα που ονομαζόταν Boiodurum (το σημερινό Πάσσαου).

Το Πάσσαου ανήκε στο αρχαίο βασίλειο των Νωρίκων και αργότερα στην ομώνυμη ρωμαϊκή επαρχία (Provincia Noricum) και ονομάζοταν από τους Ρωμαίους Μπάταβις (Batavis) ως πόλη των Βαταυών. Οι Βαταυοί ήταν μια γερμανική φυλή που αναφερόταν συχνά από τους κλασσικούς συγγραφείς και ενίοτε συσχετιζόταν με ένα φύλο Σουαβών επιδρομέων, τους Ερούλους.

Κατά τη διάρκεια του δεύτερου μισού του 5ου αιώνα μ.Χ. ο Άγιος Σεβερίνος ίδρυσε εκεί ένα μοναστήρι. Το 739 ένας Άγγλοσάξονας καλόγερος ονομάτι Βονιφάτιος (ο μετέπειτα Άγιος Βονιφάτιος, επονομαζόμενος "Απόστολος των Γερμανών") ίδρυσε την επισκοπή του Πάσσαου, που κατέστη η μεγαλύτερη επισκοπή της Ρωμαϊκής Αυτοκρατορίας για πολλά χρόνια.

Κατά τη διάρκεια της Αναγέννησης και της πρώτης σύγχρονης περιόδου, το Πάσσαου ήταν το δεύτερο σημαντικότερο κέντρο παραγωγής στη Γερμανία σπαθιών και άλλων λεπιδοφόρων όπλων μετά το Ζόλινγκεν. Οι σιδηρουργοί της πόλης επεσήμαιναν τα όπλα τους με τον λύκο του Πάσσαου, που ήταν μια απλοποιημένη απεικόνιση του εμβλήματος της πόλης. Οι προληπτικοί πολεμιστές πίστευαν ότι ο λύκος του Πάσσαου έκανε άτρωτο τον φέροντα το όπλο και έτσι τα όπλα της πόλης ήταν φημισμένα στη χώρα. Ως αποτέλεσμα η όλη πρακτική της τοποθέτησης φυλαχτών στα σπαθιά για να προστατεύουν τους κατόχους τους ήταν γνωστή κάποτε ως "η τέχνη του Πάσσαου". Οι σιδηρουργοί άλλων πόλεων, συμπεριλαμβανομένων αυτών του Ζόλινγκεν, γνώριζαν την εμπορική αξία του λύκου του Πάσσαου και τον υιοθέτησαν κι εκείνοι. Τον 17ο αιώνα το Σόλινγκεν παρήγαγε περισσότερα όπλα με σήμα τον λύκο του Πάσσαου από το ίδιο το Πάσσαου. Το 1662 μια τρομερή πυρκαγιά έκαψε το μεγαλύτερο μέρος της πόλης. Η πόλη ξαναχτίστηκε στη συνέχεια σε στυλ Μπαρόκ.

Η πόλη εκκοσμικεύτηκε και μοιράστηκε ανάμεσα στη Βαυαρία και το Σάλτσμπουργκ το 1803. Το κομμάτι της πόλης που ανήκε στο Σάλτσμπουργκ ανακτήθηκε από τους Βαυαρούς το 1805.

Από το 1892 έως το 1894 ο Αδόλφος Χίτλερ και η οικογένεια του ζούσαν στην πόλη. Τα αρχεία του Πάσσαου αναφέρουν την παρουσία του Χίτλερ στην πόλη σε τέσσερις διαφορετικές περιπτώσεις στη δεκαετία του 1920 για ομιλίες. Στις 3 Νοεμβρίου 1902 ο Χάινριχ Χίμλερ και η οικογένεια του έφτασαν στην πόλη από το Μόναχο και έμεναν στην Theresienstraße 394 (τωρινή Theresienstraße 22) μέχρι τις 2 Σεπτεμβρίου 1904. Ο Χίμλερ διατήρησε επαφή με τους ντόπιους έως τον Μάιο του 1945.

Κατά τη διάρκεια του Β΄ Παγκοσμίου Πολέμου στην πόλη υπήρχαν τρία υπό-στρατόπεδα του διαβόητου στρατόπεδου συγκέντρωσης Μαουτχάουζεν-Γκούζεν.