L'església de Sant Climent del Soler i la de Santa Fe de Talltorta són esmentades per primer cop en el capbreu dels censos i altres drets pertanyents a Santa Maria d'Urgell, pretesament redactat en el 819. L'any 1261 es consigna el mas de Sant Climent i apareix esmentada també l'església que tingué consideració de parròquia des de molt antic. En la visita pastoral de 1312-14 apareix com l'única parròquia de Talltorta. Segons J. Martí Sanjaume, a principis del segle XX es coneixen les ruïnes d'aquesta església que encara feien un petit promontori a l'extrem del prat Xicó del Vilar a llevant del pont del Soler. Les últimes dades d'aquesta església que va trobar Martí Sanjaume són del 1568 i del 1592.[1]

Entre els mesos de novembre i desembre de 2008 es va dur a terme una intervenció arqueològica a la nau de l'església que han permès documentar diverses fases de construcció de l'edifici.[1]

En la primera fase es va trobar un absis semicircular que podria pertànyer a l'església romànica de Santa Fe de Talltorta. De la qual només en tenim referències documentals. La segona fase documentada és la del moment de construcció de l'edifici actual datada cap a finals dels XVII (1667). La tercera fase apareixen inhumacions que pertanyen als segles xvii i XVIII. Les excavacions van detectar una quarta fase de remodelacions de l'espai posterior a 1780, data especificada en una làpida funerària. Una cinquena fase documentada seria posterior al Concili Vaticà II (1962-1965) en la qual es canvia la col·locació de l'altar que passa d'estar arrambat a la paret a estar al centre de l'absis.[1]