Уже во времена Римской республики здесь находился городок Sermio Mansio, имевший две гавани и укрепление, стоявшее на месте современного замка. Уже в то время здесь был курорт. Многие состоятельные жители Вероны (в том числе семья поэта Катулла) имели здесь виллы. В эпоху домината поселение было укреплено на случай нападения варваров, однако укрепления не спасли его от взятия лангобардами, которые, впрочем, жаловали это место своими милостями. Вдова короля Дезидерия, Анза, основала здесь монастырь, ныне исчезнувший. В эти годы западная гавань была засыпана и на её месте была создана сохранившаяся доныне площадь, в настоящее время посвященная поэту Джозуэ Кардуччи.

В городе проживали многочисленные сторонники секты патаренов, сторонников Клюнийской реформы, которые отрицали главенство Римского папы над церковью и выступали против богатства и власти церкви и монастырей. Многие жители города были убиты во время резни, учинённой веронским властителем Мастино I делла Скала в 1276 году.

В XIII веке городом владели веронские Скалигеры, с именем которых связано строительство замка, стоящего у входа в старинный центр Сирмионе. С 1405 по 1797 г. Сирмионе находился во власти Венецианской республики, которая использовала замок для размещения венецианского гарнизона.

В 1889 году были вновь обнаружены лечебные свойства термальных вод Сирмионе, и это послужило началом для развития туризма. В настоящее время туризм стал основой экономики города .

В 1920 г. в Сирмионе произошла встреча Джеймса Джойса и Эзры Паунда. В старом городе расположена Вилла Каллас — загородный дом оперной певицы Марии Каллас.