Reconstrucció de la sala daurada del castell

La construcció del castell original va començar el 1592, un any després que Hideyoshi es retirés de la regència, i van acabar el 1594. En les obres van participar entre 20.000 i 30.000 treballadors de 20 províncies.

Tot i l'aparença marcial exterior del castell, l'estructura va ser dissenyada per servir de casa de retir per a Hideyoshi i estava decorat i moblat com a tal. És particularment famós per la seva cambra per a la cerimònia del te, on tant les parets com els implements estaven recoberts amb fulles d'or. El castell també havia de servir com un lloc on Hideyoshi pogués tenir converses pacífiques amb els diplomàtics xinesos que intentaven que acabessin les invasions a Corea. Només dos anys després d'acabar la construcció, un terratrèmol va destruir completament el castell.

El castell va passar a ser domini de Torii Mototada, un vassall de Tokugawa Ieyasu. En 1600, el castell va ser derrotat en el famós setge de Fushimi per part d'Ishida Mitsunari. Torii Mototada en un acte de valentia va defensar el castell durant onze dies, aconseguint retardar les forces d'Ishida i permetent que el seu senyor Tokugawa tingués el temps necessari per a reagrupar el seu exèrcit. Això seria decisiu per a la subsegüent victòria en la famosa Batalla de Sekigahara, que va marcar la victòria final de Tokugawa sobre els seus rivals i l'inici del shogunat Tokugawa.

En 1623 va ser desmantellat i molts dels seus elements van ser incorporats a altres castells i temples al llarg del Japó. Diversos temples de Kyoto, com el Yōgen-in (養源院), el Genkō-an (源光庵) i el Hōsen-in (宝泉院) tenen un sostres tacats de sang, que provenen dels taulons del terra del castell Fushimi on Torii Mototada i companyia van cometre seppuku. El castell no va ser remodelat fins al 1964, quan es va construir una rèplica principalment de formigó. La nova estructura va servir com a museu de la vida i les campanyes de Toyotomi Hideyoshi, però va ser tancat al públic el 2003.