Początki ogrodu sięgają lat 60. XIX wieku[1]. Po założeniu Central Parku, mieszkańcy zaczęli podrzucać niechciane zwierzęta do znajdującego się na jego terenie budynku arsenału[2]. Prominentni nowojorczycy naciskali na utworzenie zwierzyńca na przykładzie Paryża i Londynu[3]. W 1864 zatwierdzono budowlę kilku budynków w których miała znajdować się rosnąca kolekcja około 400 zwierząt[2][4]. Menażeria cieszyła się popularnością wśród mieszkańców Nowego Jorku (w 1873 dzienna frekwencja wyniosła 7 tys. osób)[5].

Mimo wielu ulepszeń wprowadzonych na początku XX wieku w celu poprawy opieki nad zwierzętami, warunki przetrzymywania zwierząt nie były w pełni odpowiednie[5]. W 1934 zatwierdzono budowę zoo, przy finansowym wsparciu władz federalnych[2][5]. Zoo otwarto oficjalnie 2 grudnia 1934, a były gubernator Alfred E. Smith został mianowany honorowym opiekunem ogrodu[5]. W 1938 ogród otrzymał rzadko spotykanego tyglewa (krzyżówkę lwicy i tygrysa)[5].

W latach 1960–1970 zoo popadło w ruinę, a okoliczni mieszkańcy narzekali na hałas i zapachy[5]. Warunki finansowe oraz opinia publiczna zmusiły miasto do zawarcia w 1980 porozumienia z Towarzystwem Ochrony Przyrody (ang. Wildlife Conservation Society) do zarządzania ogrodem i jego późniejszej renowacji (1983–1988)[5]. Z racji małej przestrzeni, większość dużych zwierząt takich jak słonie, niedźwiedzie i zebry przeniesiono do innych ogrodów zoologicznych[5]. W zoo zachowano układ czworoboczny z lat 30. XX wieku oraz pozostawiono m.in. basen przeznaczony dla lwów morskich[5]. Architekt Kevin Roche połączył zabytkowe elementy z nowymi, dostosowując je do współczesnych standardów opieki nad zwierzętami[5]. Koszt renowacji zoo wyniósł 35 mln USD[5].

W 2004 mieszkająca w Central Park Zoo para pingwinów maskowych Roy i Silo, stała się jednym z głośniejszych przypadków homoseksualnych zachowań u zwierząt opisywanych przez media[5][4]. Na terenie zoo prezentowane są obecnie m.in.: uchatki kalifornijskie, pingwiny białobrewe, pingwiny królewskie, pingwiny złotoczube, pandki rude, pantery śnieżne oraz makaki japońskie[6].