I lavori per la costruzione della linea ferroviaria, inizialmente lunga 652 chilometri e realizzata a scartamento ordinario, iniziarono nel 1960 ad opera dell'allora gestore delle miniere, la Société Anonyme des Mines de fer da la Mauritania, con la realizzazione del primo chilometro, che fu festeggiata il 5 marzo 1961. Il 16 giugno 1963, dopo 3 anni di lavoro, la ferrovia fu ufficialmente inaugurata, unendo il porto della città di Nouadhibou con i distretti minerari di Choum e Zouérat, ultima stazione della linea.[1]

Quando nel 1963 la costruzione della linea arrivò presso la città di Choum, al confine tra la Mauritania e l'attuale Sahara Occidentale, allora colonia spagnola con il nome di Sahara spagnolo, le autorità francesi, che ancora controllavano l'economia mauritana nonostante il paese avesse raggiunto l'indipendenza il 28 novembre 1960, chiesero alle autorità spagnole il permesso di realizzare un breve tratto di ferrovia sul loro territorio, un deserto relativamente pianeggiante, onde evitare di dover passare attraverso una zona rocciosa e collinare. Queste tuttavia imposero condizioni considerate talmente inaccettabili dai francesi, che gli ingegneri transalpini furono costretti a deviare il percorso progettato, realizzando un tratto più lungo ma passante in territorio francese, correndo praticamente parallelo al confine, e facendo scavare un tunnel di due chilometri attraverso un massiccio di granito, tunnel che fu in seguito definito come "un monumento alla stupidità europea in Africa".[2]

Una volta entrata in funzione, la ferrovia fornì un'importante spinta alla crescita della Mauritania e del suo PIL; di conseguenza, nel 1974, la Société Anonyme des Mines de fer de la Mauritanie (MIFERMA) fu nazionalizzata ed oggi la linea è gestita dalla Société Nationale Industrielle et Minière (SNIM).

Quando, in seguito agli accordi di Madrid del 1975, la Mauritania annesse la parte meridionale del Sahara spagnolo creando la regione del Tiris al-Gharbiyya, che esistette fino al 1979,[3] le milizie del Fronte Polisario iniziarono ad attaccare costantemente la linea ferroviaria, mettendola praticamente fuori uso. Come conseguenza, l'economia della Mauritania, già messa sotto stress dallo sforzo bellico derivante dalla suddetta annessione, fu quasi paralizzata e il Paese si trovò sull'orlo del collasso economico. La situazione si risolse nel 1978, quando il governo monopartitico di Moktar Ould Daddah, ormai gravemente compromesso dal fallimento della guerra, cadde sotto un colpo di Stato messo in opera da alcuni ufficiali dell'esercito scontenti della gestione del conflitto. Poco tempo tempo, la Mauritania si ritirò dalla guerra, rinunciando a ogni pretesa su qualsiasi parte del Sahara Occidentale e ritirando le proprie truppe. All'inizio degli anni 1980, una volta rimessa in sicurezza la linea ed effettuate le riparazioni necessarie, il traffico ferroviario poté quindi riprendere.

Nel 1991, dopo la fine della guerra del Sahara Occidentale, fu realizzato un tratto di ferrovia lungo circa 5 km passante per una parte del Sahara Occidentale oggi controllata dal Fronte Polisario, ossia per la cosiddetta Zona libera, ponendo quindi in disuso il sopraccitato tunnel di Choum.

Successivamente fu aggiunto un ulteriore segmento di 70 km che corre dalla stazione di F'dérik alla miniera di M'Haoudat, portando la linea ferroviaria alla sua attuale lunghezza.

Nel 2014 il gigante del settore minerario Glencore stipulò con la SNIM un contratto di utilizzo delle infrastrutture portuali e ferroviarie per 18 anni al costo di un miliardo di dollari, con l'intenzione di collegare la ferrovia a due nuove miniere di ferro presso Askaf e Guelb El Aouj. L'operazione aveva lo scopo di far risparmiare denaro alla compagnia, evitando di costruire una ferrovia a sé stante con le relative infrastrutture. Tuttavia, circa un anno dopo, a causa di una diminuzione del 40% del prezzo del minerale di ferro, la Glencore abbandonò il progetto.[4]

Nel 2018 la ferrovia è diventata protagonista del cortometraggio The Mauritania Railway: Backbone of the Sahara, di Miguel de Olaso, in arte MacGregor.[5]