Pierwotną konstrukcją na wzgórzu Hime-yama był fort wzniesiony w 1333 roku przez shugo-daimyō Norimurę Akamatsu (1277–1350), władcę regionu Harima (ob. prefektura Hyōgo). Jego syn, Sadanori, zbudował w 1346 roku w tym samym miejscu pełnowymiarowy zamek. Jest to bowiem strategiczny punkt wzdłuż zachodniego podejścia do dawnej stolicy Kioto. Na przestrzeni wieków był on powiększany przez różne klany feudalne, które rządziły regionem. Składa się z ponad osiemdziesięciu budynków rozmieszczonych na terenie o wielkości 150 ha[1][2].

W 1581 roku Hideyoshi Toyotomi (1536–1598) dobudował trzypiętrową wieżę zamkową[1].

Po bitwie pod Sekigaharą w 1600 roku Ieyasu Tokugawa (1543–1616) osadził na zamku swojego zięcia Terumasę Ikeda (1565–1613), który od 1601 roku prowadził przez dziewięć lat generalną przebudowę. Podwyższył główną wieżę (tenshu, tenshukaku) do pięciu pięter i dobudował trzy mniejsze. Ostatnim elementem rozbudowy była zachodnia baszta (yagura) z przeznaczeniem dla księżniczki Sen (1597–1666), najstarszej córki sioguna Hidetady Tokugawa (1581–1632). Została ona ukończona w 1618 roku[3].

Zamek Himeji nigdy nie został zniszczony przez trzęsienia ziemi, pożary, ani w czasie walk, nawet w czasie II wojny światowej. Zachował przez to swój oryginalny kształt przez 400 lat i przetrwał do dziś jako jeden z dwunastu oryginalnych zamków w kraju[2].

Do czasu restauracji Meiji zamek był we władaniu potomków kilku rodów. W 1869 roku, po upadku systemu feudalnego, został przejęty przez rząd japoński[1].

W 1993 roku zamek został wpisany na listę światowego dziedzictwa UNESCO, a w 2006 roku otrzymał numer 59. na liście 100 słynnych zamków japońskich[4].