Kot vse severno od Gibraltarske ožine, je tudi Tarifa bogata s skalnimi poslikavami, ki pričajo o prisotnosti kulture paleolitika. Obstoječi niz jam in zavetišč od Tarifa do Medina-Sidonia ustrezajo zelo širokemu časovnemu razponu in segajo od zgornjega paleolitika do bronaste dobe in je bila imenovana Arte sureño. Tarifa ima približno šestdeset takih zavetišč, tudi najstarejših v regiji. Skalne poslikave iz paleolitika v jami Moro kažejo podobe konjev in druge like divjih živali.

Nekoč je bilo mesto Tarifa rimska naselbina Iulia Transducta (znana tudi kot Iulia Joza, ali samo Transducta). Nekateri sedaj mislijo, da je bilo to naselje tam, kjer je sedaj Algeciras, medtem ko naj bi bilo Tarifa mesto Mellaria. [1][2] Tarifa je dobila svoje sedanje ime po napadu Tarif ibn Malika leta 710, ki je bil berberski vojaški poveljnik Musa bin Nusairja. Vas Bolonia blizu Tarifa je bila tudi naseljena v rimskih časih (imenovana Baelo Claudia). Rimske ruševine še vedno obstajajo v bližini te vasi.

Po islamski osvojitvi južne Španije, je bilo mesto v začetku 10. stoletja utrjeno. Kasneje je Tarifa spadala pod državico (taifa) Algeciras (1031) in po tem taifa Seviljo (1057), nato pod Almoravide. Po slednjem spet na kratko pod drugim taifa Algeciras (1231), dokler ni postalo del Emirata Granada. Leta 1292 je mesto osvojil Sančo IV. Kastiljski, dve leti kasneje pa dosegel zmago nad severnoafriškimi islamskimi vojaki. Mesto se je leta 1340 ponovno spopadlo z maroškimi vojaki v bitki pri Río Salado.

Leta 1514 je postalo sedež marquisate skupaj s kraji Bornos, Espera in Alcalá de los Gazules. V času polotoške vojne so Tarifa 20. decembra 1810 oblegali francoski vojaki in ponovno 18. oktobra 1811 V obeh primerih so mesto branili britanski vojaki iz Gibraltarja, saj so bili Španci in Britanci zavezniki proti Francozom. Leta 1811 je sodelovalo 3.000 vojakov od tega 1.200 Britancev, vključno polkovnik Charles Holloway, ki je kot poveljnik kraljevih inženircev izboljšal taerifsko obrambo. Spopadi so trajali do 5. januarja 1812, nakar so se umaknili.

Po zaključku španske državljanske vojne je na obrobju mesta Tarifa ostalo polno bunkerjev, ki so bili zgrajeni vzdolž obale imenovanega Plan defensivo del Campo de Gibraltar. Leta 1954 je Empresa Nacional Bazán zgradila nasproti gradu Santa Catalina pristaniško mesto za torpedne ladje in podmornice. S kraljevim odlokom z dne 2. aprila 1982 je pristanišče Tarifa postalo odvisno od Agecirasa, v tem desetletju pa je mesto zapisano kot pomemben turistični center.