Vas je bila sprva posvečena religiji. Tukaj so živeli Marabouts, puščavniki. Ime je okrajšava imena svetnika Abou Said ibn Khalef ibn Yahia Ettamini el Beji, ki je tukaj živel. Leta 1207 naj bi tja prispel imenovani mistiker Abou Said Khalafa ben Yahia, da bi tam začel razvijati sufizem. Po smrti je bil imenovan za svetnika. Hrib Sidi Bou Said je čaščen kot sveti kraj. V 16. st. so se tukaj, kakor na celotnem območju severne Tunizije, ustalili Mavri, katerih značilna arhitektura je v vasici vidna še danes. Angleški baron Rodolphe d’Erlanger je leta 1912 prispel v takratno ribiško vas in zgradil dragoceno palačo. Poskrbel je, da so kraj leta 1915 uvrstili pod spomeniško varstvo. Kot slikar in ljubitelj glasbe je odprl vrata za umetnike, organiziral srečanja in večere, kjer so se prepletali umetnost, glasba in literatura. Med umetniki sta bila tudi nemška slikarja August Macke in Paul Klee. Po baronovi smrti leta 1932 je država Tunizija podedovala njegovo kulturno zapuščino.