La construcción de la columna se inició para conmemorar la victoria de Prusia en alianza con el Imperio austríaco contra Dinamarca en la Guerra de los Ducados de 1864.

Cuando la obra fue terminada e inaugurada en 1874, Prusia había obtenido nuevas victorias en la Guerra de las Siete Semanas contra el Imperio austriaco en 1866 y la Guerra franco-prusiana contra el Imperio de Napoleón III. De esta forma la columna pasó a conmemorar también estas otras dos victorias.[1]​

Inicialmente erigida frente al edificio del Reichstag, en medio de la Königsplatz (ahora Platz der Republik), la columna fue trasladada a su ubicación actual (junto con las estatuas de Moltke y Roon, que se encontraban en la misma plaza) durante la Alemania Nazi, durante los trabajos preliminares para la remodelación de Berlín, conservándose en pie tras el final de la Batalla de Berlín de la Segunda Guerra Mundial. Al terminar dicho conflicto, Francia quiso dinamitar el monumento, pero no pudo por el veto angloestadounidense. Aun así, los franceses se llevaron los relieves que aludían a su derrota.