熊野三山の信仰が都の皇族・貴族に広まったのは平安時代中期以降であり、青岸渡寺および隣接する熊野那智大社についても創建の時期等については判然としない。伝承では仁徳天皇の時代（4世紀）、天竺（インド）から渡来した裸形上人による開基とされ、同上人が那智滝の滝壺で得た金製の如意輪観音菩薩を本尊として安置したという。後に推古天皇の勅願寺となり、6世紀末 - 7世紀初に生仏聖（しょうぶつひじり）が伽藍を建立し、丈六の本尊を安置して、その胎内に裸形上人感得の如意輪観音菩薩を納め、如意輪堂を建立したという。以上はあくまでも伝承であるが、那智滝を中心とする自然信仰の場として早くから開けていたと思われる。

中世から近世にかけて隣接する熊野那智大社と一体化し、那智山熊野権現や那智権現と呼ばれ、全体で7寺36坊もの坊舎を有する神仏習合の修験道場であった。如意輪堂と称されたその堂舎は那智執行に代表される社家や那智一山の造営・修造を担う本願などの拠点であった。

花山法皇が三年間参篭し、当寺を第一番として西国三十三所観音を巡礼した。

堂舎は織田信長の兵火にかかった後、天正18年（1590年）豊臣秀吉によって再建された。

明治時代になり神仏習合が廃されると、熊野三山の他の2つ、熊野本宮大社、熊野速玉大社では仏堂は全て廃されたが、熊野那智大社では如意輪堂は有名な西国三十三所の第一番札所であったため、ひとまず破却はせずにしておいた。ただ、仏像や仏具は補陀洛山寺などに移され、空堂とされた。

しかし、1874年（明治7年）に古くからの信者らによって熊野那智大社から天台宗の寺院として独立し、新たに「青岸渡寺」と名付けられて復興した。寺号は豊臣秀吉が大政所の菩提を弔うために建てた高野山の青巌寺に由来するといわれる[1]。

明治初期の神仏分離で熊野那智大社の行者堂は取り壊されたが、青岸渡寺の境内に再建され、2023年（令和5年）10月21日に落慶法要が営まれた[2]。