La costruzione della chiesa di Sant'Antonio degli Alemanni ebbe inizio nel 1624 e terminò nove anni dopo. Essa fu eretta a completamento dell'Ospedale dei Portoghesi, nato nel 1606 per disposizione del re Filippo III. Una delle sue curiosità, simile ad altre chiese madrilene, è una cuspide di forma ottagonale all'esterno. Queste cuspidi sono in realtà delle cupole, chiamate cupole centinate, costruite con materiale leggero come mattoni e gesso. Motivi economici stanno alla base dell'adozione di questa particolare forma architettonica, già che le difficoltà che la Spagna attraversò nel corso del XVII secolo non consentivano spese eccessive. Ciononostante la forma non subiva la rinuncia alla vistosità, visto che la parte interna poteva essere decorata invece in modo fastoso, come è in questa chiesa.

Inizialmente fondata come ospedale per i portoghesi, quando il Portogallo faceva parte dei regni ispanici sotto le Asturie. La regina Maria Anna d'Austria, seconda moglie di Filippo IV, quando il Portogallo non faceva già più parte della Unione iberica, la cedette nel 1668 alla comunità dei cattolici tedeschi, numerosa alla corte fin dall'arrivo della regina consorte Maria Anna di Neuburg, cambiando il nome da ospedale in chiesa. In ogni modo conservò la dedicazione a sant'Antonio di Padova, santo portoghese.[1]

La chiesa e l'ospedale passarono dopo il 1700 alla Fratellanza del Rifugio. Questa istituzione aveva il compito di fornire aiuto alle persone di Madrid che versavano in stato di necessità. Un sacerdote e due fratelli laici della fratellanza, percorrevano le vie della città in cerca di mendicanti ai quali offrivano acqua, pane bianco e uova sode. Si conserva ancora la sagoma di laterizio il cui foro serviva a valutare le dimensioni dell'uovo, secondo la famosa frase: Si pasa, no pasa (Passa, non passa). Se l'uovo passava veniva scartato in quanto troppo piccolo per il prestigio della Fratellanza, alla quale appartenevano da sempre i re di Spagna.