До 1920 года кафедральным собором токийской архиепархии была церковь святого Иосифа.

Первоначально на месте, где сейчас находится современный собор Пресвятой Девы Марии, находилась деревянная готическая церковь Пресвятой Девы Марии Непорочного Зачатия, построенная в 1899 году. Во время Второй Мировой войны этот храм сгорел во время бомбардировки города.

Современный храм был построен в 1964 году. Церковь была спроектирована известным японским архитектором Кэндзо Тангэ, который в 1961 году выиграл конкурс по проектированию нового собора. В строительстве собора принял участие немецкий архитектор Вильгельм Шломбс.