A primitiva ocupação de seu sítio remonta a uma pequena fortificação islâmica ou cristã, no lado Noroeste do monte em que o actual castelo se posta, erguida durante o século IX.

Esta fortificação foi tomada por forças cristãs em 912, tendo retornado à posse islâmica durante o califado de Aláqueme II, que ordenou ao general Galibe ibne Abderramão a sua ampliação. Os trabalhos desenvolveram-se entre 955 e 966.

Pouco depois, em 975 o conde García Fernández, aliado a Sancho de Pamplona e a Ramiro III de Leão assediam o castelo e, enquanto o fazem, são atacados por um exército de resgate enviado por Galibe, que lhes infligiu uma humilhante derrota.

Os cristãos intentam novo assédio em 978, logrando a sua conquista, mantendo a posição até 983, quando a perdem para as forças de Almançor. O castelo permanecerá em poder dos muçulmanos até à sua reconquista definitiva pelas forças de Fernando I de Castela em 1060.

Rodrigo Díaz de Vivar, o Cid, foi senhor de Gormaz desde 1087, período em que se fundou a povoação.

À medida que as fronteiras cristãs avançaram para o Sul, o castelo perdeu a sua importância estratégica. Foi utilizado posteriormente como prisão até ao seu abandono definitivo.

Encontra-se classificado como Monumento Nacional desde 1931. Restaurado recentemente, encontra-se aberto à visitação pública.