В эпоху средневековья поселение Ла-Рок-Гажак насчитывало 1500 жителей. В то время здесь обитало множество рыбаков и матросов с барж, ходивших по Дордони. Этим периодом датируется церковь, крытая плитняком. Неподалёку возвышается, фланкированная круглой башней, фамильная усадьба семьи Тард (фр. Tarde) знакомых с Галилеем. В эпоху Столетней войны в Ла-Рок-Гажаке находилась резиденция епископов Сарла, которая расположена на окраине поселения. Над домами посёлка возвышаются развалины замка.

17 января 1957 года крупный кусок скалы обрушился на посёлок, уничтожив 6 домов и сарай, разрушив участок дороги. Погибло три человека[1].

9 января 2010 года обрушилась часть свода крепости троглодитов, обрушив часть куртины крепости, возведенной на скалистом утёсе ещё в XII веке.

3 июня 2010 года, перед началом туристического сезона, из-за угрозы обрушения скалы весом 320 тонн была закрыта департаментская дорога 703, проходящая через посёлок под скалой. Эвакуировали некоторых жителей и закрыли дорогу на 5 недель, в течение которых были проведены защитные работы и установлены сетки, задерживающие падающие камни.

Вследствие этого события посещение форта троглодитов было прекращено.