La province de Hòa Bình a été créée le 22 juin 1886, à la suite du décret du Tonkin. La province était originellement nommée "Province de Mường", séparant les régions à majorité Mường de la province de Hưng Hóa, de la province de Sơn Tây, de Hanoï et de la province de Ninh Bình.

En avril 1888, elle est rebaptisée « province de Phương Lâm » par les autorités coloniales françaises.

Le 18 mars 1891, le gouverneur général de l'Indochine française décrète que le nom de la province changera en province de Hòa Bình et comprendra six districts : Lương Sơn, Kỳ Sơn, Lạc Sơn, Lạc Thủy, Mai Châu et Đà Bắc . Son nom dérive du sino-vietnamien 和平 qui signifie « paix ».