Els orígens de l'Acadèmia es remunten al 1750, quan la República veneciana va decidir dotar la ciutat d'una «Acadèmia de pintors i escultors». L'encàrrec es va donar al pintor Giovanni Battista Piazzetta amb instal·lacions al Fondaco de la Farina, actualment Capitania del Port, poc abans del Moll de Sant Marc. Des d'aquest moment va començar a recollir un primer grup d'obres realitzades pels alumnes de l'Acadèmia.

El 1807, durant l'ocupació napoleònica, es va decidir traslladar l'escola d'Art i les obres a un lloc més digne i còmode. Es van triar els locals de l'Escola de la Caritat (Scuola della Carità), l'Església de Santa Maria della Carità en el camp homònim i l'ex convent dels Canonges Lateranensos (Convento dei Canonici Lateranensi). L'Escola de la Caritat era la més antiga de les sis Scuole Grandi i l'edifici data de 1343, encara que l'Escola es va fundar el 1260. L'església data de 1441 i és obra de Bartolomeo Bon. El Convento dei Canonici Lateranensi va ser començat per Andrea Palladio el 1560, tot i que mai acabat, per això avui es troba bastant retocat. L'arquitecte encarregat de l'adaptació d'aquests edificis per al seu ús docent i museístic va ser Giovanni Antonio Selva (1751-1819).

A aquest lloc hi van confluir nombroses obres procedents d'esglésies i convents suprimits, a més de les ja posseïdes. Així a poc a poc entre 1816 i 1856 la Galeria de l'Acadèmia es va enriquir amb les col·leccions Molin, Contarini, Renier i Manfrin, que la va dotar d'indiscutibles obres mestres de l'art italià. Altres obres es van unir al museu procedents d'Àustria després del Tractat de Sant Germano de 1919, així com les adquirides per l'Estat italià gràcies sobretot a l'interès dels directors Giulio Cantalamessa i Gino Fogolari.