Okolice Tarify były zamieszkane przez ludzi od czasów prehistorycznych. W czasach starożytnych faktorię założyli tu Fenicjanie. Później Rzymianie zbudowali miasto Iulia Traducta. W roku 710, rok przed najazdem muzułmańskim na Półwysep Iberyjski, na czele niewielkich sił wylądował tu Tarif ibn Malik, któremu Tarifa zawdzięcza swoją nazwę. Powstało muzułmańskie miasto, a w X wieku zbudowano zamek, doceniając strategiczne położenie Tarify. Miasto od roku 1090 było pod panowaniem Almorawidów, w roku 1147 zostało zajęte przez Almohadów. Zdobyte w roku 1292 przez prowadzące rekonkwistę wojska chrześcijańskie. Mimo kilku prób w XIII i XIV wieku nie zostało już odbite przez muzułmanów.