È certa la presenza umana nella zona fin dal paleolitico e i primi insediamenti stabili furono di tribù iberiche. Agli Iberi la tolsero i Romani intorno al 200 a.C. La colonizzazione romana durò fino al 410 quando l'Andalusia fu presa prima dai Vandali, poi dai Visigoti che vi rimasero fino al 711, data di sbarco a Gibilterra degli Arabo-Berberi chiamati da una delle fazioni delle lotte intestine fra i diversi regni visigoti e l'ultimo re visigoto Roderico morì nella decisiva battaglia del Guadalete a seguito della quale tutta l'Andalusia passò in potere degli Arabi e in soli sette anni anche tutta la penisola iberica subì la dominazione araba.

Il periodo arabo dal 711 al 1264 fu di grande importanza per Arcos, ad esso infatti si deve la struttura urbanistica del nucleo storico della città, furono innalzati l'Alcázar militare e le mura e fu dato un notevole impulso all'agricoltura. Gli Arabi la chiamarono Medina Ar-kosch, da cui deriva il nome Arcos, e fu inclusa nel Califfato di Cordova.

Alla caduta del califfato nel 1032 Arcos si rese indipendente e divenne uno dei diversi regni di Taifa. Con questo nome si indicarono quelle località in cui gli emiri si sottrassero dalla dipendenza del califfo autoproclamandosi re. Nel 1250 il re Ferdinando III di Castiglia ne assunse il controllo che poi perse per una rivolta dei Mori e fu suo figlio Alfonso X il Savio a conquistarla definitivamente nel 1264 e annetterla nel regno di Castiglia.

Nel 1440 fu data in signoria alla famiglia Ponce de León, e Rodrigo Ponce de León y Ponce de León († 1530) divenne pertanto il primo duca di Arcos e lasciò questo titolo ai suoi discendenti che si stabilirono nel castello dove vissero fino al XVIII secolo.

Nei secoli XVI e XVII la città, come tutta la Spagna, visse un periodo di benessere, uscì dai primi confini ampliandosi e si costruirono molti edifici religiosi e civili. Nel 1755 il grande terremoto che distrusse Lisbona si fece sentire anche qui e la città subì diversi danneggiamenti. Durante la guerra d'indipendenza contro i francesi la popolazione subì dalle truppe napoleoniche dal 1810 al 1812 ruberie, malversazioni, l'imposizione di tasse elevate ed anche l'impiccagione di alcune persone che si erano opposte ai francesi dimostrandosi favorevoli alla monarchia.

La città ne uscì esausta e soltanto nel XX secolo si risollevò modernizzando l'agricoltura e iniziando ad interessarsi al turismo favorito dalla bellezza della città e dal clima che, secondo le statistiche, offre 300 giorni di sole all'anno, poche precipitazioni e temperature miti d'inverno, gradevoli in primavera ed autunno e abbastanza calde ma non elevatissime in estate. Attualmente l'economia è basata sull'agricoltura e sul turismo.