У 1714–1715 рр. палац на правому березі річки Ельба побудував архітектор Й. Р. Фьош. Нову будівлю арендував під свою резиденцію дипломат з Голландії. Тому первісною назвою стало — Голландський палац.

У 1723 р. курфюрст Саксонський Август Сильний доручив своєму архітектору перебудувати палац для розміщення там коштовних колекцій китайської та японської порцеляни, що поціновувалась на рівні золота. Архітектор Матеус Пепельман зробив більш стриманими фасади палацу, але залишив гнучкі подвійні дахи, характерні для стилю шинуазрі над бічними вежами палацу. Саме тоді палац і отримав назву Японський — не через свій декор, що не мав нічого від Японії чи її архітектури, а саме через вміст колекції японської порцеляни.

У 19 столітті палац ремонтували, в тому числі і архітектор Готфрід Земпер.

У 1925–1935 рр. палац пристосували під державну бібліотеку. В роки 2-ї світової війни палац постраждав, але згодом був відновленій у формах, наближених до первісних — (Реставраційна копія споруди). В останні роки використовувався як музейне приміщення.