Conform tradiției moscheea ar fi fost construită în anul 988, pe cheltuiala unei doamne bogate. Aceasta își dorea să creeze un locaș de cult și un centru de învățământ religios pentru locuitorii din Timbuktu. Numele de Sankore înseamnă Nobilul cartier și se presupune că această denumire vine de la locuitorii de seama ai orașului ce locuiau în apropierea ei sau că ar fi fost o poreclă a acelei doamne. Din punct de vedere arhitectural moscheea era construită în stil sudano-sahelian. Acesta este un stil tradițional african caracterizat prin construirea edificiilor din materiale precum lutul sau argila, paiele sau lemnul.

În anul 1327, Mansa Musa I, împăratul din Mali a inițiat un amplu proiect de construcție în Timbuktu, în urma acestui proiect moscheea Sankore fiind reconstruită. Locașul era, alături de Moscheea Djinguereber și Moscheea Sidi Yahya, parte a Universității din Timbuktu, cea mai mare și mai renumită din imperiu. Aici, învățământul era structurat pe patru nivele și se învățau noțiuni legate de limbă arabă, recitarea Coranului, legislație islamică, matematică, geografie sau astronomie. La Sankore se afla cea mai mare bibliotecă din tot complexul. Aceasta era de asemenea un dintre cele mai mari biblioteci care au existat vreodată cuprinzând aproximativ 700.000 de manuscrise și fiind pe locul al doilea în istoria Africii după Biblioteca din Alexandria cu 900.000 de manuscrise.

Între anii 1578-1582, moscheea Sankore a fost reconstruită sub patronajul imamului și cadiului Aqib ibn Mahmud ibn Umar. Se spune că acesta a construit curtea locașului având dimensiunile exacte cu cele de la Kaaba, pe care ar fi măsurat-o cu o frânghie în timpul unui pelerinaj la Mecca. În anul 1678, minaretul s-a prăbușit fiind reconstruit de mai multe ori în 1709, 1710 și 1732.

În anul 1988 a intrat pe lista locurilor din Patrimoniul Mondial UNESCO împreună cu alte edificii din Timbuktu. Moschee Sankore este în prezent un monument celebru și un loc de cult important al orașului.