Il palazzo è situato a lato della Chiesa di San Francesco, edificio del complesso del convento di San Francesco, fondato nel XIII secolo. Il 24 luglio 1832, durante la Guerra civile portoghese, un incendio distrusse i chiostri del convento, risparmiando la chiesa. Nel 1841, la regina Maria II donò le rovine del convento ai mercanti della città, che decisero di utilizzare il sito per erigere la sede dell'associazione commerciale. I lavori cominciarono nel 1842 e, sebbene la struttura fosse completa già nel 1850, le decorazioni interne furono terminate solo nel 1910, e coinvolsero vari artisti differenti.