Los orígenes del castillo se remontan al periodo Sengoku. El shugō de la provincia de Shinano, Shimadachi Sadanaga del clan Ogasawara, construyó una fortificación en este lugar durante la era Eisho (1504-1520). Este puesto fronterizo menor se llamaba originalmente castillo de Fukashi. En 1550 fue tomado por el clan Takeda tras el asedio de Fukashi. Takeda Shingen nombró a su criado Baba Nobuharu como castellano, y el castillo fue el cuartel general de los Takeda para su conquista de la cuenca de Matsumoto y como reducto en el constante conflicto entre los Takeda y el poderoso clan Uesugi al norte. Tras la derrota del clan Takeda a manos de Oda Nobunaga en 1582, el castillo fue entregado a Oda Nagamasu, pero pronto fue reasignado a Kiso Yoshimasa. Sin embargo, con el asesinato de Oda Nobunaga en 1582, el castillo fue tomado por Ogasawara Dosetsuzai con el apoyo de Uesugi Kagekatsu. Su sobrino, Ogasawara Sadayoshi, juró posteriormente lealtad a Tokugawa Ieyasu, y rebautizó el castillo como «castillo de Matsumoto».[1]​

Tras la conquista de Odawara por parte de Toyotomi Hideyoshi en 1590, Tokugawa Ieyasu fue trasladado de sus dominios ancestrales a la región de Kantō, e Ishikawa Kazumasa quedó a cargo de Matsumoto. Kazumasa y su hijo Yasunaga construyeron la torre y otras partes del castillo, incluyendo las tres torres: el tenshu y la pequeña yagura en el noroeste, ambas iniciadas en 1590, y la Watari yagura, además de la residencia, la puerta del tambor, la puerta negra, la Tsukimi yagura, el foso, tres murallas exteriores, y los subsuelos en el castillo, tal y como están hoy. También fueron decisivos en el trazado de la ciudad del castillo y su infraestructura. Se cree que la mayor parte del castillo se completó en 1593-94.[1]​

Durante el periodo Edo, el shogunato Tokugawa estableció el dominio de Matsumoto. Los Ogasawara volvieron brevemente como daimyō de Matsumoto de 1613 a 1617. Les siguieron el clan Toda-Matsudaira de 1617 a 1633, el clan Matsudaira de 1633 a 1638, el clan Hotta de 1638 a 1642, el clan Mizuno de 1642 a 1725 y el clan Toda-Matsudaira de nuevo desde 1725 hasta la restauración Meiji en 1868.[1]​