Тойотоми Хидейоши започва строителството на замъка през 1583 г. от парцел на Ишияма Хонган-джи. Основният план е започнат преди замъка „Азучи“ на Ода Нобунага. Първоначално Тойотоми Хидейоши решава дворецът да е същия като Ода Нобунага, но идеята му надминава тази на „Азучи“ – главната кула е с 5 етажа, 3 етажа под земята и златен варак по стените, за да впечатли гостите. Дворецът продължава да се разширява и започнал да става голяма заплаха за нападателите. Най-накрая през 1597 г. е завършен, но Хидейоши умира и дворецът е предаден на сина му Тойотоми Хидейори[1].

През 1600 г. Токугава Иеясу побеждава опонентите си в битката при при Секигахара и започва собствен шогунат. През 1614 г. Токугава напада Тойотоми започвайки от Осака. Въпреки численото превъзходство от страна на Токугава, Тойотоми успяват да се справят с армия от 200 000 души и да защитят външните стени на двореца. Токугава поврежда главно укрепление на двореца – външия ров. Година по-късно Тойотоми започва да го ремонтира и Токугава отново напада двореца – този път успешно, слагайки край на клана Токугава.

През 1665 г. мълния удря замъка и опожарява главната кула. Чак през 1843 г. след години на занемаряване на замъка шогунати събират пари от хората от региона, за да възстановят някои от кулите. През 1868 г. дворецът пада и е предаден на шогунати против империята. Голяма част от двореца е опожарен при граждански конфликти заради реставрацията Мейджи. Под покровителството на Мейджи дворецът става част от арсенала на Осака и започват да се произвеждат пушки, военни боеприпаси и взривни вещества.

През 1928 година главната кула е възстановена от кмета на Осака.

По време на Втората световна война арсеналът е сред най-големите военни оръжейни, използвайки около 60 хиляди работници. На 14 август 1945 година бомбардировки на замъка убиват 382 души и унищожават почти целия арсенал[2].

През 1995 година правителството на Осака предприема проект за реставрация на двореца и е открит като модерен музей през 1997 г.[1][3]