Območje Le Puya je bilo za časa Rimljanov naseljeno s keltskim plemenom Vellavi. Njegov pomen se prične stopnjevati v 6. stoletju, po zatonu Rimskega cesarstva. V 10. stoletju je postal grofijsko in škofijsko središče, po čudežnih ozdravljenjih pa se je začelo tudi romanje v ta kraj. Postal je tudi izhodišče ene od štirih romarskih poti v Santiago de Compostelo (via Podiensis). Leta 1095 je bil mestni škof Adhémar de Monteil na koncilu v Clrmontu s strani papeža Urbana II. izbran za legata in duhovnega vodjo prve križarske vojne. Le Puy je sprva upravljal akvitanski vojvod, v letu 1162, po sporu s tedanjim škofom Le Puya, pa je bil dodeljen škofiji. Od 1307 dalje je bil v sklopu s francosko krono v provinci Languedoc.