Vermutlich war der Platz schon früh von einer Ansiedlung der Sikaner eingenommen, denn ihnen wird das weit in den Fels geschlagene Gängesystem zugeschrieben. Außerdem wurde eine vorgriechische Nekropole westlich der Stadt gefunden.

Um das Jahr 582 v. Chr. errichteten Auswanderer aus Gela und Rhodos hier die Stadt Akragas, die später in der Römerzeit Agrigentum genannt wurde.

Zur Geschichte der antiken Stadt siehe: Archäologische Stätten von Agrigent

Als die Araber im Jahre 829 n. Chr. Agrigentum eroberten, stand an der Stelle der antiken Stadt nur noch ein Dorf auf dem nördlichen Hügel der antiken Siedlung, der ehemaligen Akropolis. Unter dem Namen Kerkent oder Gergent entstand dort eine berberische Siedlung, die sich zu einem Zentrum der muslimischen Besiedlung Siziliens entwickelte und mit dem arabischen Palermo um die Vorherrschaft konkurrierte.

1087 wurde Gergent von den Normannen erobert. Roger II. errichtete hier ein Bistum. Unter anderem durch den Handel mit Nordafrika und durch die Landwirtschaft wurde Gergent zu einer wohlhabenden Stadt. Der Ort konzentrierte sich zunächst auf den Westteil des Girgenti-Hügels. Dort stehen auch die ältesten Kirchen Agrigents, der Dom San Gerlando und S. Maria dei Greci. Östlich des ursprünglichen Orts (etwa östlich der Via Bac-Bac) entstand im 13. Jahrhundert ein Neubauviertel, das vor allem durch die Familie Chiaramonte errichtet wurde, die eine der bedeutendsten Adelsfamilien Siziliens im späten Mittelalter war. Die Familie Chiaramonte ließ auch das spätgotische Kloster S. Spirito errichten.

Mit der Ausweisung der Araber durch Friedrich II. verlor die Stadt wirtschaftlich an Bedeutung. Daher wurde in den folgenden Jahrhunderten auch wenig gebaut. Unter spanischer und bourbonischer Herrschaft wurde Girgenti, wie die Stadt inzwischen genannt wurde, wieder zu einer weniger bedeutenden Provinzstadt. Lediglich die Sakralbaukunst erlebte ab dem 16. Jahrhundert einen Aufschwung, was durch Kirchen wie San Calogero, San Lorenzo und San Domenico bezeugt ist. Goethe besuchte Agrigent vom 23. bis 27. April 1787.[1] Im Jahr 1927 nahm die Stadt den re-latinisierten Namen Agrigento an.