במקום שבו ניצב כיום הארמון היו עד ל-1299 שני ארמונות (Palazzo dei Fanti & Palazzo dell'Esecutore di Giustizia) שהיו שייכים למשפחת אוברטי, מראשי מפלגת הגיבלינים, שנוצחה בשנה זו בפירנצה על ידי הגואלפים שוחרי העצמאות. באותה שנה הוחלט להרוס את הארמונות ולבנות במקומם ארמון שיהא סמל לריבונותה של העיר. מן הארמונות כמעט לא נותר שריד, פרט למגדל אחד הארמונות העתיקים שמהווה מסד למגדל הארמון כפי שהוא כיום, זו גם הסיבה למיקומו יוצא-הדופן של המגדל.

הבניין תוכנן על ידי האדריכל ארנולפו די קמביו (Arnolfo di Cambio), אדריכלה של קתדרלת סנטה מריה דל פיורה (ה"דואומו").

בקומתו התחתונה של המגדל נמצא תא כלא בו נכלאו בשעתם הנזיר סבונרולה וקוזימו דה מדיצ'י ("הזקן").

עד מחצית המאה ה-16 היה הארמון מושבה של ממשלת פירנצה, של הרפובליקה, ואחר מכן המועצה המבצעת של שליטי העיר. במחצית המאה ה-16 העביר קוזימו הראשון את מושב הממשלה לגלריית אופיצי ואת המעון הרשמי לפלאלצו פיטי. כדי לנוע בחופשיות ובדיסקרטיות בין אתרים אלה הזמין את ג'ורג'ו וזארי להקים את המעבר העילי הקרוי על שמו, מסדרון וזארי.

בין השנים 1865–1871 שכנה בארמון זה באופן זמני ממשלת ממלכת איטליה, עד שהועברה לרומא.

כיום רוב המבנה משמש כמוזיאון (מוזיאון רגאצי), אך חלקים ממנו משמשים משרדים וכמושב עיריית פירנצה ואתר בו מתקיימים אירועים מיוחדים.