Los primeros objetos en el entonces llamado Templo de la Memoria fueron trofeos que conmemoraban la victoria contra los turcos en la batalla de Viena en 1683. El Museo también contiene objetos históricos de los tesoros de la catedral de Wawel, del castillo Real y otros objetos donados por las familias nobles polacas (Szlachta). La princesa Izabela Czartoryska (1746–1835) también compró los tesoros del duque de Brabante, incluyendo sus libros que eran considerados un elemento destacado de la colección. Influida por el movimiento artístico romántico, también adquirió una serie de reliquias de significado sentimental, como una silla supuestamente procedente de la casa de William Shakespeare, o las cenizas de El Cid y Jimena de la catedral de Burgos.

En 1798, el hijo de Izabela, el príncipe Adam Jerzy Czartoryski viajó a Italia y adquirió en Venecia La dama del armiño de Leonardo da Vinci, y el Retrato de joven de Rafael, junto a muchas antigüedades romanas.

Sin embargo, el príncipe Adam Jerzy fue siempre más un político que un coleccionista de arte. Después del fallido Levantamiento de Noviembre en 1830 se exilió en París, donde estableció el Museo Vivo de Polonia, en el que expuso todos los objetos del primer museo.

A su muerte, su hijo menor, el príncipe Władysław (también conocido como Ladislao), se hizo cargo del museo. Siendo un auténtico coleccionista, él y su hermana la princesa Izabela Dzalynska ampliaron la colección para incluir: una valiosa alfombra polonesa, vasos etruscos y griegos, antigüedades romanas y egipcias, y un conjunto de armas y armaduras, así como esmaltes de Limoges. En la Exposition des Arts Decoratifs de 1865, celebrada en París, Władysław abrió un pabellón polaco para exhibir la famosa alfombra y otras partes de la colección.

En 1871, después de la derrota francesa en la Guerra franco-prusiana, el príncipe Władysław empaquetó u ocultó la mayor parte de los objetos y huyó. En 1874, la ciudad de Cracovia le ofreció el arsenal en la antigua muralla como museo, que él renovó llamando a Eugène Viollet-le-Duc, quien a su vez delegó el proyecto en su yerno Maurice Ouradou. En 1878, cien años después de que la princesa Izabela estableciera su museo en Puławy, abrió el museo nuevo tal como se conoce hoy. El príncipe Władysław continuó añadiendo objetos a la colección durante los siguientes veinte años, hasta que murió en 1894.

El hijo de Władysław, Adán Luis, Príncipe Czartoryski, continuó el trabajo de su padre. Durante la Primera Guerra Mundial, la parte más valiosa de la colección fue llevada a Dresde. En 1918, después de la guerra, Hans Posse, director de las colecciones reales, era reacio a devolver la colección: temía la inestabilidad de Polonia. No obstante, después de dos años de negociación, todos los objetos fueron recobrados y transferidos al museo de la familia en Cracovia en 1920. La firma del Tratado de Riga (1921) significó el regreso de todos los objetos saqueados o confiscados durante el zarismo debido a la revolución bolchevique.

Ante la invasión de Polonia por las tropas nazis, la familia Czartoryski huyó del país y se estableció en España. Durante la Segunda Guerra Mundial se escondió una parte de las colecciones, pero cayó en manos del ejército alemán. No obstante, las pinturas no resultaron severamente dañadas, aunque se manejaron bastante toscamente: el cuadro de Leonardo mostraba la pisada de una bota.

El 25 de enero de 1940 se seleccionaron los 85 objetos más importantes y se enviaron a Dresde, donde el dr. Posse, plenipotenciario de Hitler decidió que todos los objetos pasarían a formar parte de la Colección del Führer en Linz. Desde ese momento el museo, cuyo conservador iba a morir en un campo de concentración, quedó cerrado al público.

En 1945, Hans Frank, gobernador alemán de Polonia y amigo personal de Hitler, llevó las pinturas de Berlín a su propio castillo de Wawel. Pero cuando los alemanes evacuaron Cracovia en enero, se llevó las pinturas con él a Silesia y, luego, a su propia villa en Neuhaus. Los americanos arrestaron a Frank el 4 de mayo, y el representante polaco ante la Comisión Aliada para la Recuperación de Obras de Arte reclamó las pinturas robadas en nombre del Museo Czartoryski. Sin embargo, el retrato de Rafael y otros 843 objetos habían desaparecido de la colección.

El museo fue reabierto por el gobierno comunista y sobrevivió gracias a la labor del profesor Marek Rostworoski. En 1991, el Tribunal Supremo de la Nación devolvió el Museo (junto a la Biblioteca en un edificio cercano) al príncipe Adam Karol Czartoryski, quien había nacido en Sevilla en 1940 durante el exilio de sus padres. Todo el legado empezó a ser administrado a partir de 1991 por la Fundación de los Príncipes Czartoryski creada por el príncipe Adam Karol.

El 29 de diciembre de 2016, el Gobierno polaco anunció la compra de la colección y los edificios que la albergan, incluyendo el retrato de Leonardo, por 100 millones de euros. Aunque la cifra parece elevada, es poco más que simbólica dado el altísimo valor del conjunto, que se estima en 2.000 millones de euros.