Первоначальное здание дворца на этом месте было возведено в 1715 году для графа Якоба Генриха фон Флемминга. В конце этого же года в нём селится голландский посол в Саксонии, Гарсольде ван Кранебург. 29 января 1716 года он в этом здании и скончался, и дворец переходит вновь к графу фон Флемингу. Уже 1717 году называвшийся тогда «голландским» дворец становится собственностью короля Саксонии Августа Сильного. В сентябре 1719 года он устраивает во дворце праздничные гуляния, для чего украшает здание фарфоровыми фигурами.

После этого в 1720-х годах дворец неоднократно переходил от короля к графу фон Флемингу и обратно, пока в 1727 году курфюрст не начал его полностью перестраивать. Реставрационные и отделочные работы по проектам архитекторов Маттеуса Пёппельмана, Захариаса Лангелуна и Жана де Бодта в здании продолжались до 1733 года. Дворец превратился в обращённое к Эльбе обширное строение с четырьмя крыльями в стиле позднего барокко. Название «Японский дворец» оно получило в 1732 году за созданную в восточном стиле наклонную крышу. Выполнены в азиатском стиле также гермы и фигуры на внешнем фасаде дворца и во внутреннем дворе (изображение саксонцев и китайцев при изготовлении фарфора, богини Саксонии в сопровождении фигур, несущих священные сосуды и др.).

 Фонтан перед входом во дворец

Во время Семилетней войны здание было сильно повреждено. Реставрационные работы, проводимые Кристианом Экснером и Готлобом Хёльцером имели место в 1782—1786 годах, после чего Японский дворец стал музейным зданием и библиотекой курфюрста, позднее — Саксонской государственной библиотекой (до 1945 года). Японский музей являлся одной из старейших библиотек Германии и старейшим сохранившемся музейным зданием в Германии. В 1760—1887 годах здесь размещалась античная коллекция курфюрстов, а в 1836—1887 годах — и скульптурная коллекция саксонских королей. В 1835—1836 во дворце на первом этаже проводил перестройку для размещения скульптур архитектор Готфрид Земпер.

В годы Второй мировой войны здание — как и хранившаяся в нём библиотека — сильно пострадало от бомбардировок и пожаров. Разбитый вокруг него парк был уничтожен. Реставрационно-восстановительные работы, проводившиеся властями ГДР, продолжались с 1951 по 1987 год. В 1984—1985 годах был восстановлен и дворцовый парк. С 1951 по 2012 годы в здании располагался саксонский Музей первобытной истории (заново открыт в Хемнице), в 1954 году здесь был открыт Дрезденский этнографический музей. С 2001 года в Японском дворце проводятся также и выставки Музея минералогии и геологии Дрездена. Как памятник истории и архитектуры находится под охраной государства.