Երբ 19-րդ դարում բնօրինակ Եպիսկոպոսական պալատը հրդեհից ավերվեց, եպիսկոպոս Գրաուն որոշեց նոր նստավայրի կառուցման նախագիծը հանձնարարել իր ընկերոջը` Անտոնիո Գաուդիին։ Նրանք ընկերներ էին դարձել, երբ Գրաուն Տառագոնայի արքեպիսկոպոսության գլխավոր փոխանորդն էր, և նրա օրոք բացված եկեղեցու խորանը նախագծել էր ճարտարապետը։

Երբ Գաուդին ստացավ եպիսկոպոսական նստավայրը կառուցելու առաջարկը, դեռևս աշխատում էր Բարսելոնայի Գուելյա պալատի վրա, ուստի չկարողացավ տեղափոխվել Աստորգա և ուսումնասիրել նոր շինության տեղայնքն ու տարածքը։ Գաուդին խնդրեց եպիսկոպոսին իրեն ուղարկել լուսանկարներ` սկսելու նոր նախագիծը։ Գաուդիի ուղարկած նախագիծն ընդունվեց 1889 թվականի փետրվարին։ Պալատի հիմնաքարը դրվեց հաջորդ տարվա հունիսին։

Էլ-Բրեստոյից բերված գորշ գրանիտից կառուցված շինությունը ստեղծվել է նոր միջնադարյան ոճով` ներդաշնակ իր գտնվելու վայրի հետ` ներառելով նաև Գաուդիի հետագա աշխատանքներին բնորոշ տարրեր, այդ թվում մուտքի կամարները, հենասյուններն ու կողային ճակատների ծխնելույզները։ Կառույցի ճակատային հատվածի համար Գաուդին նախագծել է հինգ մետր բարձրությամբ հրեշտակ, որը սակայն երբեք չտեղադրվեց կառույցի վրա։ Պալատի ճակատային հատվածն ունի չորս գլանաձև աշտարակներ և շրջապատված է փոսերով։

1893 թվականին եպիսկոպոս Գրաուի մահից հետո Գաուդին տարաձայնություններ ունեցավ խորհրդի հետ, և կառույցի շինարարությունը դադարեցվեց մի քանի տարի։ Պալատի կառուցումն 1907-1915 թվականներին ավարտել է Ռիկարդո Գարսիա Գուերետան։ Քաղաքացիական պատերազմի ընթացքում շենքը ծառայել է որպես տեղական ռազմական շտաբ։ 1956 թվականին կատալոնացի Ջուլիան Կաստելտորտը սկսեց շենքի վերականգնումը` այն հարմարեցնելու որպես եպիսկոպոսի նստավայր։ Ավելի ուշ եպիսկոպոս Մարսելոն Գոնսալես Մարտինը նպաստեց, որ պալատը դառնա կրոնական թանգարան։