Nel 1597, Rodolfo II d'Asburgo diede l'ordine di costruire alcuni edifici per ospitare le 24 guardie della fortezza e le loro famiglie.[1][2] La costruzione fu probabilmente motivata dalla mancanza di spazio negli edifici attorno al Castello di Praga[1] o - forse - dalle proteste delle badesse del Convento di San Giorgio che protestavano per il comportamento di tali guardie[2]. Successivamente le guardie se ne andarono e nel vicolo trovarono dimora prima artigiani e orafi, poi i poveri.

Nel 1916 andò ad abitare nella Zlatá ulička, e precisamente all'edificio nr. 22[1][3][4][2], lo scrittore Franz Kafka, insieme alla sorella Ottla.[1][3][4][5][2] Qui Kafka, che vi rimase fino al 1917, scrisse i racconti della raccolta Un medico di campagna.[3][5] Il vicolo continuò ad essere abitato da poveri e da alcuni artisti fino al 1956, anno in cui gli ultimi abitanti furono trasferiti in nuove dimore e la stradina venne restaurata. Contemporaneamente ebbe luogo l’ampia ricostruzione del vicolo ad opera dell’architetto del Castello Pavel Janák. Ai lavori partecipò il famoso regista di film di marionette, illustratore e pittore Jiří Trnka, che propose le facciate colorate oggi note.[6]

Dal maggio 2010, la via è stata sottoposta ad un ampio lavoro di restauro.[7] I lavori hanno portato all'apertura di una mostra permanente dedicata alla sua storia dal 1600 al 1956. Il Vicolo è stato riaperto il 1º giugno 2011.[8]