La basilica si trova sopra Montmartre (Monte dei Martiri), all'interno dell'area urbana del XVIII arrondissement di Parigi, a nord del centro della città. Fino al 1873, anno dell'inizio della costruzione del Sacré-Coeur, l'area non era altro che un piccolo villaggio quasi disabitato.

La basilica sorge sul luogo dove sarebbe stato martirizzato nel III secolo san Dionigi con la decapitazione. Secondo la leggenda, il santo avrebbe preso poi la testa mozzata e avrebbe fatto alcune miglia portandola fra le mani.

La costruzione, sollecitata anche dall'arcivescovo di Parigi, Joseph Hippolyte Guibert, fu decretata da una votazione dell'Assemblea nazionale il 23 luglio 1873 dopo la sconfitta del 1871 per espiare i crimini dei Comunardi, e anche per rendere omaggio alla memoria dei numerosi cittadini francesi deceduti durante la guerra. L'architetto Paul Abadie progettò la basilica dopo aver vinto una competizione contro altri 77 architetti, ma morì nel 1884, e quindi altri architetti continuarono il lavoro.

La costruzione, iniziata nel 1875, prevedeva uno stile romanico-bizantino, ma vide diversi cambiamenti nel progetto. Quando finirono i lavori, nel 1920, si ottenne una struttura senza una caratteristica predominante, ma non per questo meno affascinante.

La prima pietra di marmo fu posata il 16 giugno 1875, ma la chiesa fu conclusa solo nel 1914 e consacrata nel 1919, dopo la fine della prima guerra mondiale.

Inaugurata solennemente, in un primo periodo venne evitata dagli abitanti di Montmartre preferendo andare a messa alla chiesa di Saint Pierre, una delle più antiche di Parigi.