Na terenach współczesnej As-Suwajry Portugalczycy pod dowództwem Diogo de Azambuja wznieśli w 1506 roku fortecę Castelo Real de Mogador. Obecne miasto założono w II połowie XVIII wieku. Tutejszy port, znany wówczas Europejczykom pod nazwą Mogador stał się ośrodkiem handlu międzynarodowego. W XIX wieku był to jedyny marokański port na południe od Tangieru, do którego mogły zawijać w celach handlowych europejskie statki. W okolicy osiedlili się wówczas brytyjscy kupcy i Żydzi, także Portugalczycy, Berberowie, Arabowie, Francuzi i Gnawa – ciemnoskórzy potomkowie niewolników sprowadzonych tu w XV wieku przez Portugalczyków do pracy na plantacjach trzciny cukrowej[1].

W czasach zależności od Francji miasto podupadło i straciło swoje znaczenie gospodarcze. Nie lepiej wyglądała sytuacja po odzyskaniu niepodległości przez Maroko, kiedy to As-Suwajrę opuściła społeczność żydowska. Po jakimś czasie miasto podniosło się z kryzysu i obecnie jest jednym z większych ośrodków handlowych kraju.

Wśród zabytków miasta można wymienić m.in. starówkę oraz dawne wały i forty obronne. W 2001 roku medyna w As-Suwajrze wpisana została na listę światowego dziedzictwa UNESCO.