Австрійська національна бібліотека бере свій початок з середньовічної імператорської бібліотеки. Герцог Альбрехт III (1349–1395) почав збирати книжки, а також організував переклади багатьох творів з латини на німецьку. Всю цю бібліотеку він зберігав у каплиці Гофбурга. імператор Фрідріх III (1415–1493), доповнив колекцію, привізши до столиці деякі цінні книги. Після нього великий внесок у розвиток бібліотеки зробив імператор Максиміліан I (1459–1519), що став володарем приданого, в числі якого були книжки з Бургундії, які він перевіз в Гофбург. Друга дружина імператора Б'янка Марія Сфорца привезла як придане книги з Італії.

Після смерті Максиміліана книги зберігалися в Інсбруку. В цей час бібліотека поповнилася науковими працями австрійських учених, глобусами, картами і атласами, а фонди значно збільшилися завдяки пожертвам з особистих колекцій багатих громадян. До 1575 року колекція вже налічувала 9 тис. примірників, внаслідок чого, для догляду за нею найняли першого бібліотекаря.

З 1624 року за розпорядженням Фердинанда II державна скарбниця стала регулярно виділяти кошти на розширення бібліотеки.

1722 року Карл VI наказав побудувати окрему будівлю в Гофбурзі для імператорської бібліотеки. Колекція продовжувала розширюватися — принц Євген Савойський організував збір коштів, завдяки яким вдалося придбати близько 15 000 томів у Франції та Італії. В цей же час було організовано картотеку.

Згідно з імператорським указом від 1808 року, бібліотека стала отримувати обов'язкові примірники видань, що виходили на території тогочасної Австро-Угорщини.

Після проголошення Австрійської Республіки у 1922 року, бібліотеку було перейменовано на Австрійську національну бібліотеку.