Die Stätte war Hauptort der Sippe (Aït) der Ben Haddou. Diese kontrollierten zur Zeit der Almoraviden im 11. Jahrhundert am Asif Mellah den Handel auf der alten Karawanenstraße zwischen Timbuktu und Marrakesch. Der größtenteils aus Stampflehm und – den in Südmarokko eher seltenen luftgetrockneten – Lehmziegeln errichtete Ksar dürfte jedoch jüngeren Datums sein – die Angaben schwanken je nach Literatur vom 12. bis zum 16. Jahrhundert. Auch über die Anzahl der Bewohner kann keine genaue Angabe getroffen werden, jedoch wird von bis zu 1000 Menschen gesprochen, die zeitweilig in Aït Benhaddou gelebt haben sollen.