La construcció del castell va començar a finals del segle xv, amb arquitectura d'estil gòtic. Edifici del castell va ser completat per Duke Ilinich a principis de segle xvi prop del llogaret Mir (abans de Minsk guberniya). Al voltant de 1568 el castell de Mir va passar a mans de Duke Radvila lituà, qui va finalitzar la construcció del Castell en l'arquitectura d'estil renaixentista. Es va construir un palau de tres plantes al costat dels murs est i nord del castell. Les façanes revocades en guix van ser decorades amb portals de calcària, plaques, balconades i porxos.

Després de ser abandonat per gairebé un segle i patint greus danys durant el període napoleònic, el castell va ser restaurat a finals del segle xix. El 1813, després de la mort de Dominik Radzivil, el castell va passar a mans de la seva filla Stefania, que es va casar amb Ludwig zu Sayn-Wittgenstein-Berleburg. El castell més tard va caure en mans de la seva filla Maria, que es va casar amb el Príncep Chlodwig Hohenloche-Schillingsfürst. El seu fill, Maurice Hohenloche-Schillingsfürst vengué el castell a Nikolaj Sviatopolk-Mirski, del clan Bialynia , el 1895. Nikolaj, fill de Michail va començar a reconstruir el castell d'acord amb els plans de l'arquitecte Teodor Bursze. El Sviatopolk-Mirski de propietat familiar el castell fins a 1939. Durant la Segona Guerra Mundial, que va arribar sota el domini de la força d'ocupació nazi i va servir com un gueto per a la població jueva local abans de la seva liquidació.

Entre 1944 i 1956, el castell va ser utilitzat com una instal·lació d'habitatges, el que va danyar l'interior del castell.