Занзибар след Англо-занзибарската война, 1896 г.

  Основна статия: История на Занзибар

Първите каменни домове са построени най-вероятно през 30-те години на XIX век върху основите на по-старо рибарско селище.[1] По това време Занзибар е под контрола на Султанство Оман.

През 1840 г. султан Саид бин Султан мести столицата си от Маскат (столица на съвременен Оман) в Каменния град, което поставя началото на период на бързо развитие в новата столица. През 1861 г. след междуособици в оманското владетелско семейство, Оман и Занзибар се разделят, като последният става независимо султанство с владетел султан Маджид бин Саид.

През XIX век Занзибар процъфтява като център на търговията. Отличителни стоки са подправките (най-вече детелина) и робите (виж Африканска търговия с роби). Към средата на века султанът поддържа добри отношения с Великобритания. Например пътешественикът Дейвид Ливингстън през 1866 г. се е подготвял за третата си експедиция във вътрешността на Източна Африка на архипелага. В този период, като резултат от търговската дейност на Занзибар, в града се появяват имигрантски общност от Оман, Персия и Индия.

В края на века занзибарските султани постепенно губят притежанията си в Източна Африка (Зендж) от германците и британците. През 1890 г., според Занзибарския договор, самият архипелаг Занзибар става британски протекторат. През 1896 г. внезапен бунт на местното арабско население срещу британското управление води до Англо-занзибарската война, останала в историята като най-кратката война на човечеството. Султан Халид бин Баргаш се предава след едва 45 минути военноморски обстрел.

По време на британското управление Занзибар си остава важен търговски център, въпреки че колониалните управници подпомагат Момбаса и Дар ес Салаам като техни търговски пристанища в Източна Африка. През 1897 г. е забранена търговията с роби.

През 1964 г. Каменният град е център на Занзибарската революция, която довежда до свалянето на султан Джамшид бин Абдула и създаването на социалистическо правителство на партията Афроширази. След революцията от острова бягат групи от араби и индийци. След като Танганика и Занзибар се обединяват в Танзания, Каменният град става седалище на правителството на архипелага, който придобива полуавтономен статут.