Allerede i 1869 var tankerne om en jernbanelinje til toppen af Bloksbjerg fremme, uden dog at vinde gehør. I 1895 genfremsattes forslaget, denne gang med større succes. Første spadestik blev tage den 30. maj 1896 og den 20. juni 1898 kunne første sektion af banen åbne. Det var strækningen fra Drei Annen Hohne til Schierke. Den 4. oktober samme år påbegyndte man anlæggelse af den resterende del op til Bloksbjerg. Ved slutningen af 2. Verdenskrig blev banen beskadiget af bomber og granater i en sådan grad, at den først i 1949 genåbnede.

Under den kolde krig og i DDR-tiden blev banen lukket for ordinært brug, idet en del af sporene gik gennem ingenmandsland. Godstog og militære persontog fik dog lov at køre til toppen, der var indrettet til militært brug. Almindelig passagertransport fortsatte dog på strækningen Drei Annen Hohne til Schierke, dog kun to afgange dagligt hver vej og kun for passagerer med speciel tilladelse, idet Schierke lå tæt på grænsen til Vesttyskland.

Efter den tyske genforening var der tvivl om banens fortsatte eksistens, men forenede kræfter blandt jernbaneentusiaster og politikere fik gennemført, at Bloksbjergbanen skulle have endnu en chance. Tysklands forsvar var også med i beslutningen, idet banen havde en vigtig funktion i forbindelse med oprydning og bortskaffelse af gammelt og overflødigt militært isenkram.

Den 15. september 1991 var renoveringen af banen tilendebragt og Bloksbjerbanen blev gen-indviet og åbnet for publikum.

Banens to gamle damplokomotiver har haft en stor andel i den succes, som banen har opnået efter genåbningen. Turisterne strømmer til i tusindvis for at prøve den flotte tur op til Bloksbjerg.