Sarayın inşasına Cosimo I de' Medici için 1560 yıllarında Giorgio Vasari tarafından Floransa Sulh yargıçları ofisi olarak başlandı. Bundan dolayı isim "uffizi" ("ofisler") dir. Yapıma Giorgio Vasari'nin tasarımlarına göre Alfonso Parigi ve Bernardo Buontalenti tarafından devam edildi ve 1581 yılında sona erdi. İç avlu (cortile) çok uzun ve dar olup, Arno Nehri'ne açılır.

Onun muazzam koleksiyonundan dolayı, sahip olduğu bazı eserler geçmişte Floransa'daki diğer müzelere transfer edildi. Örnek olarak bazı meşhur heykeller Bargello'ya gitti. 2006 yılında halihazırdaki proje depolarda bulunan birçok sanat eserini halkın görüşüne sunmak için müzenin sergi alanı 6,000 metre²'den hemen hemen 13.000 metre²'yi hedefler.

1993 yılında bomba yüklü bir arabanın, Via dei Georgofili'de infilak etmesi sonucu beş kişi ölmüş ve sarayın bir kısmı hasara uğramıştır. En şiddetli hasar Niobe odasındaydı, klasik heykeller ve neoklasikal iç kısım restore edildi, gerçi onun freskleri tamir boyunca zarara uğradı.

Bugün Uffizi Floransa'da en popüler turist çeken yerlerden biridir. Yüksek sezonda (özellikle Temmuz) bekleme zamanı beş saatin üzerinde olabilir. Bilet rezervesi yapmış turistler daha kısa bir zaman içinde müzeyi ziyaret edebilir.

2007 yılı Ağustos ayı başlarında Floransa büyük bir yağmur fırtınasına yakalandı ve galeri kısmen sel baskınına uğradı. Tavandan doğru yağmur sızıntısı olduğundan ziyaretçiler boşaltılmak zorunda kalmıştı.