Каса-Росада була збудована на місці Фортеці Буенос-Айреса, де традиційно знаходилися резиденції губернаторів, віце-королів, а після Травневої революції — правителів незалежної Аргентини. 1820 року Бернардіно Рівадавія наказав перебудувати фортецю, а 1850 року вона була знесена. На її місці було збудовано Нову Митницю за проектом англійського архітектора Едварда Тейлора. Від старої будівлі залишилися лише арка і одне з віце-королівських приміщень, яке було перероблене під будинок уряду.

У часи президентства Домінго Фаустіно Сарм'єнто будинок було пофарбовано у рожевий колір, який він традиційно має і понині та якому Каса-Росада завдячує своїм ім'ям, яке буквально перекладається як Рожевий Дім.

1873 року поряд з Касою-Росадою почалося будівництво Поштамту за проектом шведського архітектора Карла Кіхльберга, яке завершилося 1878 року[1]. Новобудова затуляла будинок уряду, тому президент Хуліо Рока доручив шведському архітектору Генріку Обергу перебудову кварталу, де знаходилася Каса-Росада.

1894 року стало очевидним, що існуючий будинок уряду занадто тісний, тому було вирішено об'єднати його з Поштамтом, щоб отримати нову більшу адміністративну будівлю. Президент Луїс Саенс Пенья доручив роботи італійському архітектору Франческо Тамбуріні. Дві будівлі було сполучено за допомогою великої арки, яка нині слугує входом з боку вулиці Балькарсе. Офіційно оновлену Касу-Росаду було відкрито під час другого президентства Роки 1898 року.

Найсуттєвіші зміни у зовнішньому вигляді Каси-Росади відбулися 1937 року, коли президент Агустін Педро Хусто вирішив знести будівлю, щоб відкрити панораму на річку Ла-Плата з Травневої площі[2] і розширити Травневу вулицю до Пуерто-Мадеро. На початку 1938 року[3] почалося знесення крила, де раніше знаходився Поштамт. Але у лютому того ж року на посаду президента вступив Роберто Ортіс, який швидко припинив розпочаті роботи. Тим не менше, результатом стала асиметричність будівлі і втрата значної частини приміщень.

Відтак було збудовано новий фасад, який виходив на вулицю Ірігоєна, а на місці зруйнованої частини було розширено проїжджу частину. Також було перенесено вхід на станцію метро «Травнева площа».

18 жовтня 2010 року у рамках святкування 200-річчя Травневої революції президент Крістіна Фернандес де Кіршнер відкрила великий годинник над центральною аркою будівлі.

 

Будівля Поштамту (1873)

 

Каса-Росада (1880)

 

Будинок уряду (ліворуч) і Поштамт (праворуч) до об'єднання (1890)

 

Роботи по знесенню (1938)