En la solar donde hoy se encuentra el obelisco estaba emplazada la iglesia dedicada a San Nicolás de Bari, que se decidió demoler para la construcción de la avenida 9 de Julio. En la torre de esa iglesia fue izada oficialmente por primera vez en Buenos Aires, en 1812, la bandera argentina. Dicha circunstancia se recuerda en una de las inscripciones del lado norte del Obelisco.

Se decía que el bloque radical de las cámaras presentaría un proyecto para que en ese lugar se erigiera el monumento a Hipólito Yrigoyen. Pero, el 3 de febrero de 1936, a 400 años de la denominada «primera fundación de Buenos Aires», el intendente Mariano de Vedia y Mitre, nombrado en la presidencia de Agustín Pedro Justo, firmó un decreto que generaría enconadas polémicas, para la «ejecución de una obra de carácter extraordinario, que señale al pueblo de la República la verdadera importancia de aquella efeméride. Que no existe en la ciudad ningún monumento que simbolice el homenaje de la Capital de la Nación entera.»[1]​ Se le encargó entonces al arquitecto Alberto Prebisch la construcción de un obelisco que se realizó en solo sesenta días: la obra comenzó el 20 de marzo de 1936 y fue inaugurada el 23 de mayo de ese año.[2]​

Alberto Prebisch fue uno de los principales arquitectos del modernismo argentino y autor también del vecino Teatro Gran Rex. Con respecto al motivo de la forma del monumento Prebisch dijo:

La construcción estuvo a cargo del consorcio alemán GEOPÉ - Siemens Bauunion - Grün & Bilfinger, el cual finalizó la obra en el tiempo récord de 31 días, para la que empleó a 157 obreros. Maximizando el aprovechamiento del tiempo se utilizó cemento Incor de endurecimiento rápido y se fue construyendo el monumento por secciones de 2 metros para facilitar el volcado del hormigón. Para su construcción, que costó 200 000 pesos moneda nacional, se utilizaron 680 m³ de cemento y 1360 m² de Cuarzo de Pampa de Olaen, provincia de Córdoba.

El tendido de la línea B de subterráneos favoreció la construcción del monumento, pues facilitó la colocación de los cimientos sobre los túneles formándose la base de hormigón de 20 m de lado y 1,50 m de altura sobre vigas de 1,80 m de alto que se apoyan en los costados sobre zapatas del mismo material de 1,20 m de alto y de 3 m y 4 m de largo respectivamente. La losa plana del techo del túnel del subte permite el paso de la losa de fundación del obelisco. Durante la obra, el obrero italiano José Cosentino cayó en una de las bóvedas del cimiento y murió.[4]​

El 20 de febrero de 1938, Roberto M. Ortiz sucedió a Agustín Pedro Justo y designó como nuevo intendente de la ciudad a Arturo Goyeneche.

En la noche del 20 al 21 de junio de 1938, al día siguiente de haberse realizado en el lugar un acto público con la presencia del presidente Ortiz, se produjeron algunos desprendimientos del revestimiento de piedra que destruyeron las gradas donde el día anterior se agrupaban los abanderados de colegios primarios y secundarios de la ciudad durante el acto.[2]​ Para terminar con el peligro de que nuevas placas de piedra pudiesen caerse, fueron reemplazadas por revoque de cemento en el que se imitó el dibujo de las lajas, que fue pintado con 620 litros de látex.[4]​ Al quitarse las lajas no se tuvo en cuenta que se retiró una leyenda que decía «Alberto Prebisch fue su arquitecto».[5]​

Inmediatamente después de su construcción, el obelisco se tornó en centro de las burlas y protestas de los porteños. Tres años después de su inauguración, en junio de 1939, el Concejo Deliberante sancionó la demolición del Obelisco por Ordenanza N.º 10.251, por 23 votos contra tres, aduciendo razones económicas, estéticas y de seguridad pública. Pero la ordenanza fue vetada por el intendente Goyeneche, y no prosperaron otras tentativas por derribarlo.[5]​

La estructura del mismo, basada en la estética racionalista, generó más de una polémica entre los partidarios de la renovación de la ciudad y los sectores más tradicionalistas. Actualmente ya se lo considera como un ícono de la ciudad.

El Obelisco ha sido frecuentemente utilizado como punto de reunión de diversas manifestaciones, las que abarcan también las avenidas 9 de julio y Corrientes que lo rodean, hecho similar al que ocurre en Plaza de Mayo.

En 1998, activistas de Greenpeace violaron el acceso y desplegaron desde la punta un cartel con la leyenda «Salven el clima».[5]​

En 1987 se lo rodeó con una reja para impedir las inscripciones en sus paredes.