Sigurður Hjartarson, założyciel muzeum, pracował jako nauczyciel historii oraz języka hiszpańskiego w szkole średniej Hamrahlíð w Reykjavíku. Od dziecka posiadał penis byka, który dostał jako bicz. W 1974 r. otrzymał kolejne cztery penisy wielorybów od lokalnych rybaków. Od tego czasu zaczął interesować się zbieraniem członków zwierząt. W kolejnych latach swoją kolekcję powiększał o penisy wielorybów, płetwonogów oraz innych zwierząt hodowlanych, pochodzące głównie z rzeźni. W prezencie od rybaków otrzymał także penisa niedźwiedzia polarnego zastrzelonego na dryfującej krze u wybrzeży Vestfirðir[1][1][2].

Kolekcja początkowo była przechowywana w szkole, w której uczył, jednak w 1997 r. Hjartarson postanowił przedstawić swoją kolekcję publicznie. Otrzymał dotację w wysokości 200 tys. ISK, która pozwoliła mu wynająć powierzchnię w muzeum w Reykjavíku w sierpniu 1997. Kolekcja powoli się rozrastała, wzrastała także liczba odwiedzających. W 2003 r. muzeum zwiedziło 5200 osób, w tym 4200 turystów z zagranicy. W 2004 r., po przejściu na emeryturę, Hjartarson nie mógł sobie pozwolić na utrzymanie wystawy, nie otrzymywał także dotacji od państwa, ani miasta. W związku z tym przeniósł wystawę do dawnej restauracji w położonej 480 km na północ od stolicy wioski Húsavík[1][3].

W 2012 r. Sigurður Hjartarson przekazał swoją kolekcję synowi Hjörturowi Gíslemu Sigurðssonowi[a]. Muzeum zostało przeniesione z powrotem do Reykjavíku do własnej siedziby przy Laugavegur 116[4].

W 2012 r. pewien niemiecki przedsiębiorca złożył ofertę zakupu kolekcji penisów i przewiezienia jej do Wielkiej Brytanii za kwotę 30 mln ISK, jednak rodzina założyciela nie zgodziła się na taką propozycję, uzasadniając, że kolekcja musi pozostać w Islandii[5].