Касба була побудована на руїнах стародавнього фінікійського міста Ікосіум (араб. إكوزيوم‎). Це було місто середніх розмірів, побудоване на пагорбі. Місто було поділено на дві частини: верхню і нижню. У Середньовіччя Касба була оплотом середземноморських піратів. До початку XVII століття в місті перебувало 25000 рабів. Серед них був капітан іспанського королівського флоту Мігель де Сервантес Сааведра — майбутній автор роману «Дон Кіхота»[1].

Під час алжирської боротьби за незалежність (1954—1962) в Касбі розташовувався центр Фронту національного визволення (ФНВ). Для протидії борцям за незалежність Алжиру французи були змушені зосередити свої сили на Касбі[1].

Із 1992 р. Касба була включена до списку об'єктів світової спадщини ЮНЕСКО.