En el sitio donde se encuentra emplazada la Oude Kerk antiguamente se encontraba una iglesia de madera. Fue reemplazada por una capilla de piedra y consagrada en 1306.

La iglesia ha sufrido una serie de renovaciones realizadas a lo largo de 15 generaciones de ciudadanos de Ámsterdam. Cincuenta años después de su construcción se realiza la primera reforma, las capillas laterales se alargan y se estructuran alrededor del coro en un semicírculo para sostener la estructura. A comienzos del siglo XV se agregaron los transeptos norte y sur para generar una forma de cruz. Los trabajos en estos cambios se terminaron en 1460, aunque es probable que las tareas fueran interrumpidas por los incendios que asolaron la ciudad en 1421 y 1452.

Antes del Alteratie, o Reforma ocurrida en Ámsterdam en 1578, la Oude Kerk era una iglesia católica. Luego de la derrota de los españoles a manos de Guillermo "El Taciturno" durante la Guerra de los Ochenta Años, la iglesia fue tomada por la Iglesia reformada neerlandesa calvinista. Durante las diversas batallas que tuvieron lugar durante el siglo XVI, en varias ocasiones la iglesia fue objeto de pillaje y daños, primero durante el Beeldenstorm de 1566, cuando una turba destruyó la mayoría de las obras de arte y decoraciones de la iglesia, incluido una pieza en el altar con un panel central obra de Jan van Scorel y paneles laterales a ambos lados obras de Maarten van Heemskerck.[1]​ Lo único que sobrevivió fueron las pinturas del techo ya que eran inaccesibles.

Los habitantes locales se encontraban en la iglesia para chismosear, los mercachifles vendían sus mercancías y los mendigos buscaban refugio. Este comportamiento no fue tolerado por los calvinistas, y los mendigos fueron expulsados. En 1681 se clausuró el coro con una malla de bronce. Por sobre la malla se lee el siguiente texto, “Las prácticas falsas introducidas gradualmente en la iglesia de Dios, fueron aquí deshechas en el año setenta y ocho,” en referencia a la Reforma de 1578.

Ese mismo año, la Oude Kerk se convirtió en la sede del registro de casamientos. También albergó los archivos de la ciudad, los documentos más importantes se guardaban en un arcón enchapado en placas de hierro y pintado con el escudo de armas de la ciudad. El arcón se almacenaba en una capilla de hierro.

El busto del famoso organista y compositor Jan Pieterszoon Sweelinck (1562-1621) recuerda su trayectoria como ejecutante de esta iglesia. Su carrera comenzó a la temprana edad de quince años cuando sucede a su padre Pieter Swybertszoon que había fallecido siendo organista de Oude Kerk. Allí compuso la música de 150 salmos desarrollando una reputación internacional como destacado compositor holandés.

Rembrandt fue un asiduo visitante de la Oude Kerk y todos sus hijos fueron bautizados aquí. Es el único edificio de Ámsterdam que ha guardado sus formas originales desde que Rembrandt lo recorrió. En el Santo Sepulcro existe una pequeña exhibición de Rembrandt, un altar dedicado a su esposa “Saskia” van Uylenburgh que reposa allí desde 1782.