For omkring 3000 år siden, på bakketoppen hvor Kaštel ligger i dag, opstod den første bosættelse: fortet Histra. Der er intet tilbage af dette fort, udover den ringformede form af byens to hovedgader. Byens historie starter med romerne. Det officielle bynavn var Colonia Pietas Iulia Pola og byen havde alle funktioner og bygninger, som var typiske for de romerske indvandrere.

I tiden med folkevandringer i det 7. århundrede begyndte også slaver og kroater at slå sig ned i Pula-området. På grund af sin beliggenhed, var havnen i Pula-Pola transitpunkt på vejen fra Venezia (Venedig) langs Adriaterhavet mod Levanten.

Hyppige udbrud af pest i det 14. århundrede og senere, samt malaria og andre sygdomme, reducerede drastisk befolkningstallet, således at der sidst i det 17. århundrede kun levede omkring 600 mennesker i Pula-Pola.

Med Venezias (Venedigs) undergang kom Istrien og Pula-Pola under den Østrigske krone. Fra 1815 og til slutningen af den 1. verdenskrig var Pula-Pola del af det østrigske kystområde (Küstenland). I året 1856 åbnede Arsenalet, dvs. hovedbasen for den østrigske krigsmarine, og hermed startede byens samt hele Istriens udvikling. Da byen i 1876 blev forbundet med hovedjernbanelinien fra Wien til Trieste, blev den nærliggende ø, Brioni, et turistmål for de rige (senere var øen sommeresidens for Jugoslaviens præsident Josip Broz Tito).