Prvýkrát bolo možné prekročiť Canal Grande suchou nohou cez pontónový most, ktorý postavil v roku 1181 staviteľ Nicolò Barattieri. Most bol známy pod názvom Ponte della Moneta, pravdepodobne preto, že v blízkosti stála mincovňa. Vzhľadom na to, že vďaka blízkemu trhu, zvanému Rialto, tento most čoskoro nestačil, bol v roku 1255 nahradený dreveným mostom. Stavba bola založená na dvoch šikmých rampách a pohyblivom strede, ktorý umožnil prieplav vyšším lodiam. Nakoniec došlo k spojeniu s priľahlým trhom a most podľa neho dostal svoje dnešné meno.

Počas prvej polovice 15. storočia vznikli dva rady obchodov po stranách mostu. V roku 1310, pri vzbure vedenej Bejamonte Tiepolom, bol čiastočne spálený. V roku 1444 nevydržal nápor ľudí sledujúcich sprievod lodí a zrútil sa. Myšlienka na stavbu mostu kamenného bola prvý raz prednesená v roku 1503.

Súčasnú podobu mostu navrhol Antonio da Ponte a bola dokončená v roku 1591.