Η κατασκευή του παλατιού Ουφίτσι ξεκίνησε το 1560 από τον Τζόρτζιο Βαζάρι κατόπιν παραγγελίας του δούκα της Τοσκάνης Κόζιμο Α' των Μεδίκων και ολοκληρώθηκε το 1581. Μέρος των θησαυρών της οικογενείας των Μεδίκων είχε διασκορπιστεί κατά τη διάρκεια της εξορίας της και ανακτήθηκε εν μέρει από τον Κόζιμο Α΄ κατά την περίοδο της ηγεμονίας του (1532-74). Αρχικά, το παλάτι είχε ως στόχο να στεγάσει γραφεία (uffizi). Μετά το θάνατο του Βαζάρι και του Κόζιμο το 1574, την ολοκλήρωση του έργου ανέλαβε ο αρχιτέκτονας Μπερνάρντο Μπουονταλέντι κάτω από την επίβλεψη του δούκα Φραντσέσκο Α΄ των Μεδίκων, ο οποίος αποφάσισε το 1581 να μεταφέρει τη συλλογή του έργων τέχνης και πολύτιμων αντικειμένων από το studiolo (σπουδαστήριο) που είχε φτιάξει στο Παλάτσο Βέκιο, σε έναν ειδικά διαμορφωμένο χώρο του Ουφίτσι, τη λεγόμενη Tribuna. Τα επόμενα χρόνια, η συλλογή του Ουφίτσι εμπλουτίστηκε σημαντικά. Το 1677, ο Κόζιμο Γ΄ μετέφερε επίσης ένα τμήμα της συλλογής αρχαίων αγαλμάτων των Μεδίκων από τη Ρώμη στο Ουφίτσι. Μετά τη διαδοχή της δυναστείας των Μεδίκων από αυτή των Αψβούργων, κατά την ηγεμονία του Πέτρου Λεοπόλδου (1765-1790), ξεκίνησε μία σημαντική προσπάθεια ανασυγκρότησης των συλλογών της πινακοθήκης και η ταξινόμηση των έργων ανάλογα με την καλλιτεχνική σχολή που εκπροσωπούσαν. Στο έργο αυτό είχε συμβολή ο ιστορικός τέχνης αββάς Λουίτζι Λάντσι.