За творами Артура Конан-Дойля, Шерлок Холмс і його друг доктор Ватсон жили у квартирі за адресою Бейкер-стріт, 221b (221b, Baker street) у період з 1881 по 1904 рік. Під час написання цих творів такої адреси в Лондоні не існувало. Згодом, при продовженні Бейкер-стріт на північ (туди, де наприкінці XIX століття перебувала вулиця під назвою Upper Baker Street), цей номер виявився серед номерів з 215 по 229, і був присвоєний будинку будівельного товариства Abbey National. З цієї причини протягом багатьох років Abbey National був змушений утримувати спеціального секретаря для обробки листів та іншої кореспонденції, що постійно приходить за адресою Baker street, 221b, на ім'я Шерлока Холмса. При створенні музею спеціально була зареєстрована фірма «221b Baker Street», аби мати можливість на законних підставах повісити на «будинку Шерлока Холмса», реальний номер якого 239, відповідну табличку. Та згодом будинок таки отримав офіційну поштову адресу 221b, Baker Street, London, NW1 6XE, і кореспонденція почала надходити безпосередньо в музей.

Музей розташований на Бейкер-стріт, неподалік від однойменної станції Лондонського метро, приблизно на півдорозі від перетину Бейкер-стріт з Мерілебон-роуд до Риджентс-парку. Розташовується музей у чотириповерховому будинку у вікторіанському стилі. Будинок споруджений 1815 року та занесений до списку будівель Її Величності, що становлять архітектурну та історичну цінність, 2-го класу[1]. Крім вивіски музею, зовні на будинку встановлена типова лондонська меморіальна табличка («Синя табличка»), що встановлюється на будинках, в яких проживали історичні особистості. На табличці зазначено, що в цьому будинку з 1881 по 1904 рік жив детектив-консультант Шерлок Холмс.