Першим власником Гунванфу став Нюхуру Хешень (和珅), фаворит імператора Цяньлуна. У китайську історію Хешень увійшов як найбільший корупціонер. З 1790 року, коли знаходився в похилому віці імператор Цяньлун почав поступово відходити від справ, Хешень став, фактично, володарем Китаю. Його син був одружений з донькою імператора. Хешень торгував посадами і титулами, привласнював собі державні кошти і подарунки. Нажитий за 24 роки державної служби статок дорівнюють зі доходами усього Китайської імперії за 8 років.

У 1777 році в мальовничому районі Пекіна, лежачого на північний захід від Забороненого міста, для Хешень було побудовано величезний розкішний палац, який займав площу понад 6 га, налічував 30 ансамблів в різних архітектурних стилях. Його обслуговували 1000 слуг і 500 наложниць.

Після того, як 7 лютого 1799 року Цяньлун помер. За наказом нового імператора Цзяціна, Нюхуру Хешеня було звинувачено в корупції, слідом за цим заарештовано і засуджено до страти, все його майно конфісковано. Як найвищу милість йому було дозволено вчинити самогубство. 22 лютого 1799 Хешень повісився.

Після смерті Хешеня його палац було надано цінському князю Айсінгіоро Юнміну, 17-му синові імператора Цяньлуна. У 1851 році імператор Сяньфен подарував палац своєму братові Айсінгіоро Їсіну, що мав титул великого князя Гуна (恭忠親王 Гунчжун ціньван) — один з вищих титулів в епоху Цін, який носили принци крові, члени імператорської родини. При ньому палац отримав свою нинішню назву — Гунванфу — резиденція князя Гуна.

У 1912 році онук Айсіньгёро Їсіна — Пувей — продав тубетську колекцію цього палацу японській торгово-промисловій палаті. У 1921 Айсінгіоро Пувей передав резиденцію як заставу бенедиктинському католицькому монастирю. Бенедиктинці відновили постарілий на той час палац і відкрили в його стінах Пекінський католицький університет, який проіснував тут до 1951 року. У 1961 році його було перетворено на Фуженьський католицький університет (輔仁大學 Фу Чжень Католік). Останній натепер знаходиться на Тайвані.

1950 року частина палацу передано Пекінській Академії образотворчих мистецтв. У 1962 році прем'єр-міністр Чжоу Еньлай відвідав палац, після чого мав намір відновити його та відкрити для відвідувачів. Але не зміг реалізувати цей план. У роки Культурної революції (1966—1976) на території Гунванфу знаходився Пекінський завод кондиціонерів, що призвело до його значного руйнування і втрати найцінніших пам'яток історії та культури. У 1978 році за наполягання Гу Му, друга Чжоу Еньлая, почалися дослідницткі та реставраційні роботи в палаці.

У 1982 році палац князя Гуна було включено до Реєстру національної культурної спадщини Китаю. Перед реставраторами постало складне завдання: повернути резиденції її вигляд часів князя Гуна. Практично усі речі інтер'єру, картини, каліграфія та ін., що були втрачені або продані за кордон. Резиденцію відновлювали за матеріалами і картинам палацу князя Гуна, що зберігалися в бібліотеці університету Цінхуа. Картини та інші речі інтер'єру довелося закуповувати, багато було отримано в подарунок.

2006 року Академія образотворчих мистецтв переїхала з палацу. 24 серпня 2008 року під час Літніх Олімпійських ігор в Пекіні музей Гунванфу було відкрито. У 2012 році палацу присвоєно категорію ААААА туристичних пам'яток.