Fue erigido presumiblemente entre los siglos X y XI sobre la base de un núcleo fortificado, constituido por un cuerpo central y torres en las esquinas. Alrededor del núcleo se desarrollaría una de las obras maestras del gótico veneciano. La primera gran reestructuración, que transformó la fortaleza originaria en un elegante palacio ya sin fortificar, se llevó a cabo en el siglo XII por el dux Sebastiano Ziani. A finales de 1200 se llevó a cabo una nueva ampliación.

Durante el gobierno de Bartolomeo Gradenigo (1339–1342) el palacio empezó a adquirir su forma actual. Una ampliación de 1424 debida al dux Francesco Foscari extendió el palacio por el lado de la Basílica de San Marcos. En 1442 se realizó un añadido importante, la Porta della Carta, proyecto de los arquitectos Giovanni Bon y Bartolomeo Bon (también autores de la Ca' d'Oro).

La parte interna (es decir, la que da a la parte del canal de Palacio y termina en el Ponte della Paglia ('Puente de la Heno'), y que hospedaba los apartamentos del Dux), fue edificada después del gran incendio de 1483, según el proyecto del arquitecto Antonio Rizzo. A lo largo del siglo XVI se alternaron incendios devastadores con importantes reformas, como la "scala dei giganti" ('escalera de los gigantes'). Precisamente uno de estos siniestros propició la creación del principal tesoro del edificio: la gigante Paraíso de Tintoretto, pintada para sustituir un mural dañado en un incendio.

A principios del siglo XVI se añadieron las llamadas prigioni nuove ('prisiones nuevas'), más allá del canal, por obra del arquitecto Antonio Contin. Este nuevo cuerpo de fábrica, que sería la sede de los "Signori di notte al criminal" ('Señores de noche de lo criminal'), magistrados encargados de la prevención y represión de los delitos penales, fue conectado al palacio mediante el "Puente de los Suspiros", cruzado por los condenados en su camino a las nuevas prisiones.

Después de la caída de la República de Venecia en 1797, el palacio no se utilizó ya como sede del príncipe y de las magistraturas sino que fue acondicionado para albergar oficinas administrativas. Las prisiones, llamadas i Piombi ('los plomos') a causa del revestimiento en ese material del tejado, conservaron su antigua función. Tras la anexión de Venecia al Reino de Italia, el palacio sufrió numerosas restauraciones, y en 1923 fue finalmente destinado a museo, función que conserva hoy día.