Passavia ha origini celtiche, ed era nota come Boiodurum; fu forte militare romano di un'unità ausiliaria (a partire dalla fine del I secolo d.C. sotto la dinastia dei Flavi), col nome di Castra Batava. Durante la seconda metà del V secolo san Severino vi fondò un monastero e nel 759 un monaco anglosassone di nome Bonifacio Wynfrith, proclamato poi santo e detto l'Apostolo di Germania, vi stabilì una sede vescovile, la diocesi di Passavia, che diventò la maggiore del Sacro Romano Impero. La città fu successivamente governata dai vescovi-principi dell'Impero fino al 1803.

Nel XVII secolo, precisamente nel 1662 e 1680, Passavia fu colpita da incendi che distrussero diverse parti della città. Per la ricostruzione furono impiegati artisti italiani che diedero a Passavia, che è una delle più belle città bavaresi, un aspetto barocco e rococò ed anche neoclassico per alcuni edifici. Il vecchio centro conservò, però, un aspetto medioevale.

Nel 1803 Napoleone fece secolarizzare tutti i principati vescovili e Passavia passò al regno di Baviera fino alla fine della prima guerra mondiale. Nel 1918 con la sconfitta tedesca caddero, oltre al trono imperiale di Guglielmo II, anche tutti i regni tedeschi indipendenti come quello di Baviera e Passavia che, di conseguenza, seguì le sorti della prima repubblica tedesca.

A Passavia vissero Adolf Hitler e famiglia dal 1892 fino al 1894. Gli archivi della città menzionano il passaggio di Hitler in altre quattro occasioni: nel 1920 per dei comizi;[senza fonte]dagli stessi archivi storici cittadini risulta che il piccolo Adolf Hitler, all'età di 4 anni, cadde nel fiume Inn e venne salvato da un suo coetaneo, Johan Kühberger, diventato in seguito sacerdote. Anche Heinrich Himmler e la sua famiglia hanno vissuto a Passavia, arrivati da Monaco di Baviera.[1]

Dopo la seconda guerra mondiale la Baviera, e quindi Passavia, entrarono a far parte della repubblica federale.