De verering van de Castor en Pollux in Rome ontstond onder invloed van de Grieken in Magna Graecia. De Tempel van Castor en Pollux is een van de oudste tempels in Rome. De dictator Aulus Postumius Albus Regillensis beloofde de bouw van de tempel aan Castor en Pollux in ruil voor hun steun in de Slag bij het Meer van Regillus in 495 v.Chr. Volgens de overlevering verscheen de goddelijke tweeling als ruiters in de strijd, die vervolgens werd gewonnen door de Romeinen. Na de overwinning verschenen Castor en Pollux nogmaals, nu in Rome bij de Bron van Juturna, waar ze de overwinning verkondigden. De tempel werd vervolgens op deze plaats gebouwd en in 484 v.Chr. ingewijd door consul Aulus Postumius Albus Regillensis, de zoon van de dictator.

De oorspronkelijke tempel werd in 117 v.Chr. volledig herbouwd en vergroot door Lucius Caecilius Metellus Dalmaticus, na zijn overwinning op de Dalmatiërs. Een nieuwe restauratie volgde in 73 v.Chr. door Gaius Verres. Deze tempel ging in 14 v.Chr. verloren bij een brand die veel gebouwen op het Forum Romanum verwoestte. Alleen het podium bleef behouden.

Op het oudere podium werd de Tempel van Castor en Pollux vervolgens herbouwd door Tiberius, de later keizer, en in 6 n.Chr. weer ingewijd. De restanten van de tempel die tegenwoordig nog zichtbaar zijn, zijn afkomstig van deze tempel. In de 4e eeuw werd een grote muur gebouwd, naast de toen waarschijnlijk in slechte staat verkerende tempel.

Tijdens de Romeinse Republiek fungeerde de tempel ook als vergaderzaal voor de Senaat. Vanaf het midden van de 2e eeuw v.Chr. diende het verhoogde podium van de tempel ook als podium voor publieke sprekers. In de keizerlijke periode was hier het kantoor voor gewichten en meeteenheden gevestigd. Daarnaast was het een opslagruimte voor de staatsbank.