Dagli scavi archeologici condotti in città e nei dintorni sono emerse testimonianze che indicano la presenza d'insediamenti umani risalenti all'età del bronzo (700 a.C.). L'insediamento antico, chiamato Úbeda la Vieja, sorge a 15 chilometri da Úbeda. Nel 400 a.C. l'autorità dell'insediamento si estendeva su tutta la valle del Jandulilla. In questa località nel periodo di Augusto fra il 63 a.C. e il 14 d.C. si installò la colonia romana chiamata Salaria, di cui oggi esistono alcuni resti. La città rimase con popolazione celtoibera-romano-visigotica fino all'invasione araba.

Nell'822-852 l'emiro Abd-al-Rahman fondò Al-Arab-Úbeda, dove si trova oggi Ubeda. Sempre nell'852, il wali (cioè il governatore musulmano di una provincia) di Jaen, Haxen-ben-Abdalazis fortificò la città, che verrà occupata dagli Almohadi nel 1091. I Mori poi vennero cacciati e Alfonso VII di Castiglia nel 1147 si impossessò della città, che sarebbe rimasta sotto il potere dei Castigliani per dieci anni, finché nel 1157 gli Almohadi la rioccuparono. Si susseguirono poi incursioni di Alfonso VII e questo altalenarsi del possesso di Úbeda si arrestò solo nel 1212, quando con la famosa battaglia di Las Navas de Tolosa si ebbe la fase cruciale della Reconquista, che determinò l'abbandono da parte dei Musulmani di quasi tutto il territorio in cui avevano esercitato il dominio.

La città ritornò quindi in potere dei re di Castiglia, che le concessero benefici e le consentirono di espandersi con la donazione di alcuni castelli. Nel 1269 Alfonso X di Castiglia ne riparò le mura. Nel 1342-44 il Consiglio di Úbeda decise di inviare delle truppe per partecipare con i Castigliani all'assedio di Algeciras; da questo episodio trae origine la leggenda dei dodici leoni dello scudo araldico della città, che rappresenterebbero i dodici eroici cavalieri ubetensi che vinsero la sfida contro altrettanti cavalieri arabi. Nel 1442 le mura vennero rinforzate, nel timore di un attacco da parte di Granada.

Con l'ascesa al trono dei Re cattolici e successivamente sotto Carlo V d'Asburgo, la città riacquistò importanza e nel XVI secolo iniziò la costruzione di nuovi edifici in stile rinascimentale. Vennero edificati o modificati secondo il nuovo stile conventi, palazzi e chiese. Nel 1848 venne costruito il primo oleificio a vapore, a cui seguirono alcuni altri insediamenti industriali; la provincia di Úbeda restò tuttavia votata all'economia agricola, trovandosi al centro di una estesa regione collinare ricca di oliveti, e in seguito toccata solo in parte dal turismo internazionale, maggiormente attratto dagli altri centri dell'Andalusia più noti e ricchi di opere d'arte.

Durante aprile-maggio 2006 è stato girato per le strade di Ùbeda un film per il pubblico spagnolo intitolato El capitán Alatriste (in italiano Il destino di un Guerriero - Alatriste) tratto da una serie di racconti (Las aventuras del capitán Alatriste) ambientati nella Spagna rinascimentale e scritti da Arturo Pérez-Reverte. Ùbeda è stata scelta insieme a Baeza come location del film in quanto sono le uniche due città spagnole a mantenere caratteri puri rinascimentali nelle loro architetture. Nel cast compaiono Viggo Mortensen nei panni di Diego Alatriste e l'italiano Enrico Lo Verso.