התיעוד ההיסטורי של העיר קיים החל מתקופת שושלת סונג, כאשר הוקם מוצב צבאי במקום על מנת לסחור במלח. בשנת 1810 הורחב המוצב והוקם מבצר ימי קטן במקום. בשנת 1842, לאחר העברת השלטון על האי הונג קונג לידי האימפריה הבריטית במסגרת חוזה נאנקינג, החלו הרשויות הסיניות בתגבור המבצר על מנת למנוע התפשטות של ההשפעה הבריטית, ובין השאר בנו את הגדר שנתנה לעיר את שמה.

בשנת 1898, הועברו הטריטוריות החדשות לשלטון האימפריה הבריטית. אבל העיר נותרה בשלטון סין והפכה למובלעת בשטח הבריטי. ב-1899 כבשו הבריטים את העיר.

על אף שהכריזו ריבונות על העיר, הבריטים לא הרבו להתעסק בעיר ובנעשה בה, ובמשך שלטונם מגורי החיילים הנטושים הפכו לבתים ארעיים, והכנסייה הפרוטסטנטית אף הקימה בעיר בית אבות. בשנת 1933 הכריזו הבריטים על רצונם להרוס את המתחם.

בזמן הכיבוש היפני במלחמת העולם השנייה, היפנים הרסו את חומת המתחם והשתמשו בחומרי הבניין כדי להרחיב את נמל התעופה קאי טאק הסמוך.

לאחר כניעת יפן, הכריזה הרפובליקה העממית של סין ריבונות על המתחם, ובשנת 1947 פלשו 2,000 פליטים ממלחמת האזרחים בסין למתחם והתיישבו עליו. לאחר ניסיון כושל לסלק אותם ב-1948, החל המנהל הבריטי להתעלם מהקורה בעיר.

בשנת 1950 פרצה במתחם שרפה שהשמידה יותר מ-2,500 בתים, דבר שהביא לתנופת בנייה מתוך ההריסות.

בגלל שכוחות אכיפת החוק כמעט ולא פעלו במתחם, הפכה העיר למקלט לפושעים ופורעי חוק. בשנות ה-50 השתלטו על המתחם הטריאדות, שהקימו בתי בושת, מאורות סמים והימורים. בשנות ה-60 נבנתה העיר בקצב מהיר, כשקומות חדשות מתווספות בצורה לא מסודרת מעל הקומות הקיימות. בשל הקרבה לנמל התעופה קאי טאק הוגבלה הבניה ל-13–14 קומות. המטוסים המנמיכים לנחיתה חלפו קרוב מאוד לגגות הבניינים וגרמו לרעש רב בעיר.

תנאי החיים בעיר לא היו קלים. הסמטאות בין הבניינים היו צרות מאוד, 1-2 מטר רוחב, וסבלו מניקוז גרוע. אור השמש כמעט ולא הגיע לסמטאות וחלקן הוארו על ידי פלואורסצנטים. בין הבניינים נבנו מעברים עיליים שאפשרו מעבר בעיר מבלי לדרוך על הקרקע. תנאי התברואה בעיר היו רחוקים מאלה שהונהגו בחלקים אחרים של הונג קונג.

בשנת 1987 הוחלט להרוס את המתחם ולהפכו לפארק. 33 אלף תושבי המקום התבקשו להתפנות תמורת פיצוי. עד 1992 התפנו כל התושבים, וב-1993 החלו העבודת להריסת המבנים.

 הפארק העירוני קאולון שהוקם על חורבות מתחם המגורים