La construcción de la iglesia de san Antonio de los Alemanes se inició en 1624, prolongándose las obras hasta 1633. Se edificó como complemento del Hospital de San Antonio de los Portugueses, creado en 1606 por el rey Felipe III.

La institución de la Hermandad fue creada por orden real en 1604; fijando su sede en Madrid en 1606, que posteriormente se materializa en el templo y el hospital. El objetivo de la Hermandad era funcionar como referencia para los portugueses residentes en la capital en un momento en que Portugal se encontraba bajo la Corona hispana. La comunidad portuguesa podría mostrar su solidaridad con sus compatriotas y ejercer la caridad. Al margen del hospital, cuando la construcción de la iglesia hubo finalizado, esta funcionó como centro de la devoción religiosa de los portugueses de Madrid[1]​. Aun así, los sacerdotes no serían únicamente portugueses, ni tampoco los fieles. Es notable el hecho de que la estrecha vinculación de los miembros de la Hermandad con los altos niveles de la Administración ofrecía grandes oportunidades de medrar (a través de las mercedes regias, por ejemplo); esto, junto a la reacción antiportuguesa a raíz de la crisis de 1640, derivó en acusaciones de judaísmo contra sus miembros, llegando incluso a denominar «sinagoga» al templo[2]​. En cualquier caso, el planteamiento de centralidad portuguesa no fue óbice para que la caridad de la institución fuera más allá de los sus nacionales. Asimismo, los portugueses de Madrid no eran solo atendidos en la Hermandad de San Antonio, también están documentados ingresos en el Hospital General de Madrid: «recebem a todos os doentes sem distinçao de naçoes»[3]​. En San Antonio La atención hospitalaria esta reportada desde 1611, pero problemas internos y el inicio de las obras de la iglesia y un nuevo hospital de mayor capacidad interrumpieron la labor a partir de la década de 1620. El lento ritmo de las obras y la rebelión de Portugal en 1640 demoraron aún más la apertura; se interrumpió la principal línea de financiación (donaciones reales a partir de las rentas obtenidas en territorio portugués), por lo que se recurrió a la caridad de la comunidad portuguesa en Madrid. Durante este periodo se sucedieron los cierres y aperturas[4]​.

En 1668, con la definitiva independencia de Portugal, la Hermandad pasó a depender de la Cámara de Castilla y a adscribirse desde 1689 al cuidado de la escolta católica alemana de la reina Mariana de Neoburgo, esposa en segundas nupcias de Carlos II, de ahí el cambio de nombre a San Antonio de los Alemanes[5]​. Finalmente, en 1702 el nuevo rey borbón Felipe V entregó la iglesia y el hospital de San Antonio a la Hermandad del Refugio[6]​. Una de las actividades más destacadas durante esta época será la conocida como «ronda del pan y huevo» (fig. 4), en la que se repartía alimento a los indigentes que pasaban la noche al raso. En la actualidad, la Hermandad del Refugio permanece en San Antonio de los Alemanes, continuando su actividad con comedores, colegios y residencias por diversos lugares[7]​

Inicialmente fue fundado como hospital para portugueses, cuando Portugal era parte de los reinos hispánicos bajo los Austrias. La reina Mariana de Austria, segunda mujer de Felipe IV, cuando ya Portugal dejó de formar parte del Imperio español, lo cedió en el año 1668 a la comunidad de católicos alemanes, numerosa en la Corte desde la llegada de la reina consorte Mariana de Neoburgo, cambiando el nombre del hospital y de la iglesia. Aun así conservó la advocación de San Antonio de Padua, santo portugués.[8]​

La iglesia y el hospital pasaron a pertenecer desde el 1701 a la Hermandad del Refugio. Esta institución tenía el compromiso de prestar ayuda a los necesitados de Madrid. Un sacerdote y dos seglares de la hermandad, salían a las calles para buscar mendigos a los que ofrecer agua, pan blanco y un huevo duro. Se conserva todavía la plantilla de madera cuyo agujero servía para desestimar el huevo si por allí entraba, pronunciando la famosa frase: Si pasa, no pasa, lo que indicaba que el huevo era demasiado pequeño para el prestigio de la Hermandad a la que han pertenecido los reyes de España desde siempre, incluidos los actuales.