O palácio substitui o antigo palácio episcopal, que foi destruído por um incêndio em 1886. O bispo Joan Baptista Grau i Vallespinós encomendou então o projeto dum novo palácio a Gaudí, de quem o bispo era amigo de longa data. As obras foram iniciadas em 1889, mas após a morte do bispo em 1893, Gaudí renunciou à direção das obras por desavenças com o cabido, quando ainda faltava construir o segundo andar e o ático. A Gaudí sucederam-se, sem êxito, os arquitetos Francisco Blanch y Pons e Manuel Hernández Álvarez-Reyero. As obras foram concluídas em 1913, sob a direção de Ricardo García Guereta, nomeado pelo bispo Julián de Diego y Alcolea.[1]

Durante a Guerra Civil Espanhola, o palácio foi usado como quartel e sede da Falange e em 1943 e 1956 houve várias obras de reparação com o objetivo de o converter na residência do bispo, o que nunca chegou a acontecer. Durante os pontificados dos bispos Marcelo González Martín e Antonio Briva Miravent foi transformado no Museu dos Caminhos, o qual foi inaugurado em 1963.[2]