Місцевість була населена приблизно за три сторіччя до того, як в 1830-х роках з'явилися кам'яні споруди.

Місто було торговим центром східно-африканського узбережжя між Азією і Африкою перед колонізацією материка в кінці XIX століття, після чого центр торгівлі змістився в Момбасу та Дар-ес-Салам. З 1840 до 1856 рік, при Саїд ібн Султані, тут була столиця Оманської імперії. Основними експортованими товарами були спеції, зокрема гвоздика. Багато років Кам'яне місто було найбільшим центром работоргівлі; Раби, що надходять з континентальної Африки поставлялися на Середній Схід. На місці колишнього ринку рабів побудований англіканський собор, але кілька клітин збереглося.

Місто також було відправною точкою для численних європейських дослідників, особливо португальських, і колонізаторів наприкінці XIX століття. Девід Лівінгстон використовував Кам'яне місто як базу при підготовці своєї останньої експедиції в 1866 році. Будинок, тепер має його ім'я, було надано йому султаном Сеїд Саїдом. Тут селилися іммігрантські спільноти з Оману, Персії та Індії. Вони, в основному, займалися торгівлею, або, як у випадку з оманцями, управляли островом і залежними від нього територіями.