Був побудований близько 495 до н. е. за замовленням сина диктатора Авла Постумія з нагоди перемоги над Тарквінієм на озері Регіл в Лаціо (499 до н. е.). Діоскури нібито допомогли здобути перемогу і принесли цю новину в Рим. Усі джерела свідчать, що днем освячення храму було 27 січня, Тит Лівій вказує 15 липня — день огляду вершників.

В храмі часто проводив свої засідання римський сенат. Близько 117 до н. е. храм був оновлений Луцієм Цецилієм Метеллом Далматиком після його перемоги над далматинами. Гай Ліциній Веррес знову відновив храм у 73 до н. е.

У 14 до н. е. пожежа, яка зруйнувала основні частини форуму, зруйнувала і храм. У I столітті за наказом Тиберія храм знову відремонтували й у 6 році н. е. освятили від імені самого Тиберія та його брата Друза.

Калігула храм в свій палац і влаштував вхід в останній між двома статуями, так що Діоскури стали його воротарями. Клавдій знищив цю споруду. Відновлення храму приписується Доміціану. Тоді він отримав назву Храм Кастора і Мінерви (Templum Castoris et Minervae). У храмі зберігалися стандарти мір і ваг, а кілька приміщень в подіумі, в просторах між колонами, закритих металевими дверима, служили сховищем імператорського фіску і майна приватних осіб. Зберігався до середини IV ст. н. е.