Budowę Uffizi Kosma I Medyceusz powierzył architektowi i malarzowi Giorgio Vasariemu. Prace rozpoczęto w 1560 roku i po 20 latach ukończono budowlę, w której początkowo miały się mieścić florenckie urzędy administracyjne i sądownicze. Z tym pierwotnym przeznaczeniem wiąże się nazwa obiektu – uffizi w języku włoskim oznacza „urzędy”. Ponieważ w roku 1574 zarówno Kosma I, jak i Vasari zmarli, kontynuacją budowy zajęli się syn Kosmy Francesco I de’ Medici i Bernardo Buontalenti. W 1581 roku budowa Ufizzi została ukończona i na najwyższym piętrze pałacu powstała galeria utworzona przez Francesco I de’ Medici dla umieszczenia tam kolekcji dzieł sztuki zgromadzonej przez Medicich.

W budynkach od strony wewnętrznego dziedzińca, na parterze zbudowano otwartą loggię, poziom I piętra zamykają okna, na II piętrze umieszczono galerię. Na parterze, w niektórych filarach, wykonano nisze mieszczące posągi znanych osobistości Toskanii. W 1971 roku w zabudowaniach parteru odkryto pozostałości romańskiego kościoła San Pietro Scherraggio, w którym zachowały się freski Andrei del Castagno.

W 1993 roku samochód-pułapka eksplodował przy ulicy Via dei Georgofili, a eksplozja uszkodziła część pałacu, zabijając 5 osób. Najpoważniejszych zniszczeń doznał Pokój Niobe, tylko częściowo udało się go odrestaurować, ponieważ freski zostały nieodwracanie uszkodzone. Sprawców eksplozji nie udało się wykryć, ale podejrzewano o nią mafię[potrzebny przypis].