Պալատը սկզբնապես հիմնադրվել է 1128 թվականին որպես Ավգուստինյան Հոլիռուդ աբբայություն՝ Շոտլանդիայի թագավոր Դևիդ I-ի պատվերով։ Ըստ ավանդազրույցի, Դևիդը Սուրբ խաչի տեսիլք է ունեցել, որից էլ ծագել է աբբայության անունը։ Անվան մեկ այլ ստուգաբանություն ևս հայտնի է, ըստ որի այն ծագել է Սուրբ խաչի մասունքից, որը պատկանել է Դևիդի մորը՝ Մարգարեթ թագուհուն[1]։ Որպես արքայական նստավայր, հատկապես էդինբուրգյան ամրոցին մոտ գտնվելու շնորհիվ, պալատը շուտով դարձավ կարևոր կառավարական կենտրոն։ 1189 թվականին մի խումբ ազնվականներ հավաքվեցին այնտեղ որոշելու գերի ընկած Վիլհելմ I Առյուծ թագավորի համար վճարելիք փրկագինը[2]։ 1326 թվականին Ռոբերտ դե Բրյուսը աբբայությունում կազմակերպեց շոտլանդական պառլամենտ, իսկ մինչև 1329 թվականն այն արդեն օգտագործվում էր որպես թագավորական նստավայր։ 1370 թվականին Դևիդ II-ը դարձավ շոտլանդական այն մի քանի թագավորներից առաջինը, որը թաղվեց Հոլիռուդում։ Հոլիռուդում 1430 թվականին է ծնվել շոտլանդական մեկ այլ արքա՝ Ջեյմս II-ը, որը ոչ միայն թագադրվել և ամուսնացել, այլև հուղարկավորվել է այնտեղ[2] ։ 1469 թվականին Հոլիռուդում կատարվեց Ջեյմս III արքայի և Մարգարեթ Դանիացու պսակադրության արարողությունը[1]։ Վաղ շրջանում արքայական նստավայրին հատկացվել էր աբբայության հյուրատունը, որը գտնվում է ներկայիս պալատի հյուսիսային կողաշարքում[2], սակայն 15֊րդ դարի վերջին հարկաբաժինն ամբողջովին հատկացվեց արքայական ընտանիքին[1]։