Fue fundado en el año 386 d. C. durante el reinado del emperador Teodosio I (375-395),[1]​ la leyenda cuenta que dos sacerdotes emprendieron la fundación del monasterio en el sitio después de haber descubierto un icono milagroso de la Virgen María en una cueva en la montaña.

Durante su larga historia, el monasterio cayó en ruina en varias ocasiones y fue restaurada por varios emperadores. Durante el siglo VI d. C., fue restaurado y ampliado por el general Belisario por orden de Justiniano.[1]​

Llegó a su actual forma en el siglo XIV después de ganar importancia durante el reinado de Alejo III (1349-1390) del Imperio de Trebisonda (establecido en 1204). En ese momento, el monasterio fue concedido con un monto anual de los fondos imperiales. Durante la época de Manuel III, el hijo de Alejo III, y durante los reinados de los príncipes posteriores, Sumela adquirió aún más riqueza con las donaciones imperiales. Después de la conquista por el sultán otomano Mehmed II en 1461, se le concedió la protección por orden del sultán y los derechos y privilegios que fueron renovados por los sultanes siguientes. Los monjes y viajeros continuaron viajando allí a través de los años, el monasterio fue muy popular hasta el siglo XIX.

En 1682 y desde hace algunas décadas albergó la escuela de Trebisonda, una conocida institución educativa griega de la región.[2]​

El monasterio fue capturado por el Imperio ruso durante la ocupación de Trebisonda en la años 1916-1918. El sitio fue finalmente abandonado en 1923, después de un intercambio forzoso de población entre Grecia y Turquía. A los deportados monjes no se les permitió tomar una propiedad con ellos, por lo que enterraron un famoso icono de Sumela bajo el suelo de la capilla de Santa Bárbara. En 1930 un monje volvió secretamente a Sumela y recuperó el icono, transfiriéndolo al nuevo Monasterio de Panagia de Soumela, en las laderas del Monte Vermion, cerca de la ciudad de Naousa, en Macedonia, Grecia.

Hoy la principal función del monasterio es de una atracción turística. Su sitio con vistas a bosques y arroyos debajo, hacen que sea muy popular por su atractivo estético, así como por su significado cultural y religioso. En la actualidad los trabajos de restauración financiado por el gobierno turco se están llevando a cabo. Actualmente está disfrutando de un renacimiento en peregrinación de Grecia y Rusia.