Cysterna została wybudowana w VI wieku n.e. na rozkaz cesarza bizantyjskiego Justyniana I jako „pałac, który zapadł się pod ziemię”, na miejscu bazyliki św. Eliasza zniszczonej w 532 roku podczas powstania Nika. Jej głównym zadaniem było zaopatrywanie w wodę pałacu cesarskiego w wypadku wojny, gdyby woda z akweduktów została odcięta lub zatruta. Po zdobyciu miasta przez Turków w 1453 roku cysterna jeszcze przez jakiś czas pełniła swoją funkcję. Ze względu jednak na to, że najeźdźcy woleli świeżą wodę bezpośrednio z akweduktów i nie obawiali się oblężenia miasta, wkrótce uległa zapomnieniu, aż do połowy XVI wieku.

W latach 1544–1550 w Stambule przebywał holenderski podróżnik i uczony nazwiskiem Gylles, który przyjechał do miasta w celu poszukiwania śladów bizantyjskiej świetności metropolii. Będąc w okolicach Hagia Sofia, zauważył, że mieszkańcy wydobywają wodę przy pomocy wiader z niedużej głębokości z otworów w ziemi przypominających studnie. Jeszcze bardziej zdziwiła go informacja, że w „studniach” tych można łowić ryby (pływają tam i obecnie). Szybko odkrył, że pod ziemią znajduje się duży zbiornik wodny, do którego wejście prowadzi z podwórca jednego z pobliskich domów. Posługując się pochodnią i niedużą łódką, dokonał jego oględzin i pierwszych pomiarów. Wyniki swoich badań opublikował niedługo później na Zachodzie, wzbudzając duże zainteresowanie i stając się pierwszym zachodnioeuropejskim „odkrywcą” Jerebatan. Po raz drugi Europejczycy zbadali i wymierzyli cysternę podczas I wojny światowej, a byli nimi marynarze niemieckich okrętów podwodnych stacjonujących w Stambule.

W okresie osmańskim cysterna dwukrotnie była poddawana restauracji: po raz pierwszy za rządów Ahmeda III (1673–1736) w 1723 roku pod kierunkiem architekta o nazwisku Muhammad Agha z Kayseri i po raz drugi w wieku XIX za rządów sułtana Abdülhamida II (1842–1918). W XX wieku cysternę remontowano również dwa razy – w latach 1955–1960 i 1985–1987. W wyniku pierwszego remontu 8 grożących zawaleniem kolumn w północno-wschodniej części wzmocniono betonową otuliną. Podczas drugiego remontu zbiornik gruntownie oczyszczono i zainstalowano drewniane pomosty. W 1987 roku cysternę udostępniono zwiedzającym. Obecnie miejsce to stanowi jedno z najbardziej atrakcyjnych i oryginalnych obiektów turystycznych Stambułu.