Walled City oli alun perin kiinalainen linnake, joka oli perustettu jo Song-dynastian aikana (960–1279). Kun Uudet territoriot vuokrattiin Britannialle vuonna 1898, jäi linnake Kiinan enklaaviksi brittien hallinnoimalle alueelle. Asukkaita Walled Cityssä oli silloin vain noin 700. Vuotta myöhemmin Britannia otti linnakkeen haltuunsa, mutta ei kuitenkaan ollut seuraavien vuosikymmenten aikana mitenkään kiinnostunut sen kehittämisestä. Muurien rajaamalla alueella oli ainoastaan protestanttisen kirkon omistama vanhainkoti ja muutama sata sieltä kodin itselleen vallannutta asukasta.

Toisen maailmansodan jälkeen Kiina alkoi vaatia oikeuksiaan Walled Cityyn. Samalla sinne asettui pari tuhatta pakolaista, jotka halusivat päästä Kiinan suojelukseen. Alue säilyi kuitenkin brittien hallinnassa ja he yrittivät tuloksetta häätää Walled Cityyn virranneita pakolaisia. Lopulta Britannia päätti olla sekaantumasta alueen asioihin vuonna 1948. Walled Citystä tuli nopeasti turvapaikka erilaisille rikollisille sekä huumeidenkäyttäjille ja 1950-luvun alkupuolella se oli jo triadien rikollisjärjestön hallinnassa.

Walled Cityssä toimi lukemattomia bordelleja sekä peli- ja oopiumluolia. Hongkongin poliisi ei uskaltautunut alueelle kuin suurissa ryhmissä. Vuosina 1973–1974 alueella suoritettiin 3 500 poliisin voimin suuria ratsioita, joiden aikana pidätettiin yli 2 500 henkilöä. Ratsioiden sekä asukkaiden aktiivisuuden ansiosta triadien valta alueella alkoi vähetä, ja lopulta vuonna 1983 viranomaiset ilmoittivat alueen olevan heidän hallinnassaan.

Walled Cityn olosuhteita kohennettiin 1970- ja 1980-lukujen aikana muun muassa rakentamalla sinne vesijohtoja sekä katuvalaistusta. Viimeisinä vuosinaan Walled City tunnettiin erityisesti siellä vastaanottoaan pitäneistä laittomista lääkäreistä ja hammaslääkäreistä, jotka pystyivät alueella toimimaan ilman lupia. Alueella oli myös lukemattomia pieniä verstaita, joissa harjoitettiin pienimuotoista teollisuutta. Walled Cityn rikollisuudesta huolimatta suurin osa sen asukkaista eli kuitenkin aivan tavallista elämää.

Vuonna 1987 Kiinan ja Britannian viranomaiset tekivät yhteisen päätöksen Walled Cityn purkamisesta ja vuonna 1993 aloitettu työ saatiin lopulta päätökseen vuoden kuluttua. Nykyään paikalla on 3,1 hehtaarin laajuinen puisto tekojärvineen.