La tradizione lo vuole fondato nel 386 sotto il regno di Teodosio I da due eremiti, Barnabas e Sophronius, che scoprirono nelle grotte della montagna una icona della Vergine Maria e decisero di costruirvi un monastero a lei dedicato.

Il nome Sumela sarebbe derivato da melas che indica in greco scuro o nero, che potrebbe riferirsi al colore della rupe, per altri invece sarebbe da far risalire all'immagine della Vergine venerata nella grotta che avrebbe potuto essere di carnagione scura o nera.

Il monastero nella sua lunga vita è più volte caduto in rovina e ricostruito, la prima ricostruzione viene attribuita al generale Belisario su richiesta dell'imperatore Giustiniano.

Il suo apogeo lo raggiunse sotto i monarchi di Trebisonda, Alessio e suo figlio Manuele. Anche dopo l'occupazione ottomana del 1461 il monastero continuò a essere protetto per ordine del sultano Maometto II e dai suoi successori. La comunità monastica continuò a occupare il monastero e pellegrini e visitatori continuarono a farne una popolare meta di viaggi fino a XIX secolo. Dopo una breve occupazione russa dal 1916 al 1918, venne abbandonato con lo scambio di popolazioni tra Grecia e Turchia pattuita nel Trattato di Losanna del 1923. La comunità monastica fondò un nuovo monastero a Veria in Grecia.

Il 15 agosto 2010, festa dell'Assunzione di Maria, che in Oriente si festeggia come la festa della Dormizione di Maria, il governo turco ha concesso al patriarca ecumenico Bartolomeo I, coadiuvato dal metropolita Tychon, in rappresentanza del patriarca di Mosca, Kirill I, di celebrare una messa dopo 88 anni;[1] erano presenti almeno quindicimila persone secondo asianews[2], con la presenza di alcuni musulmani e molti stranieri accorsi per l'occasione.