Tra il 1866 e 1867 la parte settentrionale di questo vasto palazzo di 8000 m² venne costruita a sud-est della medina (città vecchia) di Marrakesh, sul lato nord del mellah (il ghetto ebraico), vicino al palazzo reale, dall'architetto Muḥammad al-Makkī,[1] su commissione di Si Musa, un ex schiavo diventato vizir del sultano alawita Ḥasan I.[2]

Aḥmad b. Mūsā (1841-1900, figlio di Sī Mūsā, a cui succedette alla carica di vizir) regnò di fatto sul Marocco come reggente del giovane sultano Mulay ʿAbd al-ʿAzīz. Durante il suo regno, Aḥmad b. Mūsā allargò la parte meridionale del palazzo, acquistando i palazzi vicini e unendoli al suo.[1] Vi risiedette con le sue quattro mogli ufficiali e il suo harem di 24 concubine. Il nome del palazzo prende il nome da Bāhiya, la moglie preferita di Aḥmad b. Mūsā.

Poco dopo la morte di Aḥmad b. Mūsā il Marocco divenne un protettorato francese e il palazzo divenne la residenza ufficiale del residente generale di Francia in Marocco, Louis Hubert Gonzalve Lyautey, e degli ufficiali francesi.[2]

Oggi il palazzo è aperto ai visitatori, vi vengono svolti concerti di musica arabo-andalusa e mostre d'arte.