Местность была населена приблизительно за три столетия до того, как в 1830-х годах появились каменные постройки.

 Узкая улочка в Каменном городе Занзибара

Город был торговым центром восточноафриканского побережья между Азией и Африкой перед колонизацией материка в конце XIX века, после чего центр торговли сместился в Момбасу и Дар-эс-Салам. С 1840 до 1856, при Саид ибн Султане, здесь была столица Оманской империи. Основными экспортируемыми товарами были специи, в частности гвоздика. Многие годы Каменный город был крупнейшим центром работорговли; рабы, поступающие из континентальной Африки поставлялись на Средний Восток. На месте прежнего рынка рабов построен англиканский собор, но несколько клеток сохранилось.

Город также был отправной точкой для многочисленных европейских исследователей, в особенности португальских, и колонизаторов в конце XIX века. Давид Ливингстон использовал Каменный город как базу при подготовке своей последней экспедиции в 1866 году. Дом, сейчас носящий его имя, был предоставлен ему султаном Сейид Саидом. Здесь селились иммигрантские сообщества из Омана, Персии и Индии. Они, в основном, занимались торговлей, или, как в случае с оманцами, управляли островом и зависимыми от него территориями.