Португальський мореплавець Бартоломеу Діаш, повертаючись зі свого плавання до мису Доброї Надії, в 1487 році першим з європейців висадився в бухті, яку він назвав Затокою Святого Христофора (порт. Golfo de São Christovão) по імені свого флагманського корабля. Перш ніж відплисти далі, португальці встановили на березі (це місце зараз має назву Diaz Point) традиційний кам'яний хрест з гербом («падрау») як ознаку того, що цей берег приєднується до володінь португальської корони. Оригінальний хрест за минулі століття був значно пошкоджений вивітрюванням, і в 1929 році його було замінено на копію. Спотворений вітром майже до невпізнання оригінал зараз знаходиться в музеї Кейптауна (ПАР).

Пізніше картографи позначали це місце як Ангра-душ-Ільєуш (Angra dos Ilheos, «бухта Островів»), а потім — Ангра-Пекена (Angra Pequena, «Мала бухта»). Протягом наступних чотирьох сторіч ці місця не відвідувалися європейцями; узбережжя, практично позбавлене зручних гаваней (за винятком бухти Уолфіш-Бей далі на північ), і безплідна і практично ненаселена пустеля внутрішніх районів країни не становили ніякого інтересу для європейських колоніальних держав. Лише в середині XIX ст. на нетривалий час ці береги сповнилися китобоями та добувачами гуано (особливо багаті залежи розроблялися на острові Ікабу), однак цей бум тривав недовго, і з вичерпанням покладів гуано узбережжя знову спорожніло.

В 1883 році в бухті Ангра-Пекена висадився бременський торговець тютюном Адольф Людериц. Разом зі своїм співробітником і компаньйоном Генріхом Фогельзангом вони придбали у ватажка місцевих орламів (голландсько-африканських метисів, які жили далі вглиб континенту) Йозефа Фредерікса ділянку узбережжя 40 миль вдовж берега і 20 миль вглиб, на якій влаштували торговельну факторію.

За ділянку землі площею приблизно 2600 км² ватажок орламів отримав від німців 100 фунтів золотом і 250 гвинтівок. Однак після складення угоди продавцю пояснили, що малися на увазі не англійські (1,8 км), а, зрозуміло, прусські милі, які дорівнюють 7,5 км, і, таким чином, придбана ділянка мала розмір 300 на 150 км і площу 45 000 км². Ця шельмівська комбінація увійшла до історії під назвою «шахрайство з милями».

24 квітня 1884 року Людерицу вдалося отримати гарантії безпеки для свого володіння від німецького уряду, і в бухті Ангра-Пекена (яку було перейменовано на бухту Людериц), виникло невеличке рибальське поселення того ж імені, яке стало першим осередком поширення німецького колоніального впливу в південно-західній Африці. Людериц придбав цю на перший погляд нікчемну землю, сподіваючись знайти на ній корисні копалини, однак їх ретельні і дуже коштовні пошуки не принесли результату. Людериц озлиднів і був змушений продати свій величезний маєток Німецькому Південноафриканському Колоніальному товариству. В 1886 році Людериц зник безвісти під час геологорозвідувальної експедиції до Оранжевої ріки. Наприкінці 1880-х років Колоніальне товариство, неспроможне ефективно керувати колонією, передало її в безпосереднє відання німецького уряду.

Незначне і дуже обмежене господарське пожвавлення почалося в крихітному містечку Людериц в 1904 році, коли тут були розквартировані солдати підрозділу німецького колоніального війська, які воювали з повсталими тубільцями нама. За тих часів містечко набуло сумної відомості завдяки концентраційному табору, який було влаштовано на розташованому неподалік від узбережжя острові Акул. В цьому таборі утримувалися орлами і нама, які були захоплені в полон під час придушення повстання, разом з їхніми сім'ями. З близько 2000 в'язнів табору через жахливі гігієнічні та кліматичні умови пощастило вижити лише близько 450. Під енергійним тиском з боку працюючих в країні німецьких місіонерів табір був закритий і перенесений до внутрішніх районів країни.

В 1908 році, в околицях містечка були знайдені алмази, що спричинило потужний, хоча й короткочасний господарський бум. Перший алмаз знайшов чорношкірий робітник Захаріас Левела, який працював на будівництві вузькоколійної залізниці, під час розчищення занесеної піском колії. Він відніс його своєму майстру Августу Штауху, котрий відразу після цього разом зі старшим інженером Сьонке Ніссеном швидко придбав права на розвідку корисних копалин в цьому районі, що зробило їх обох мільйонерами; Захаріас Левела не отримав зі своєї знахідки нічого. В наступні роки Людериц бурхливо розвивався як процвітаючий торговельний порт. Регіон на південь від Людерицу, площа якого дорівнювала Бельгії, був проголошений забороненою алмазною зоною — Шпергебітом (нім. Sperrgebiet), доступ до якої був суворо обмежений; в поселенні Колмансхуп, що виникло в пустелі неподалік від Людерицу, була влаштована штаб-квартира південноафриканської алмазодобувної компанії CDM (англ. Consolidated Diamond Mines), яка здобула монопольні права на розробку алмазних родовищ. Розвиток промислового видобутку алмазів в регіоні і пов'язаний з ним приток старателів і шукачів швидкої наживи до Колмансхупа створили умови для сталого економічного розвитку в Людериці, і він швидко перетворився на сучасне розвинене місто.

Після 1920 року Людериц почав втрачати своє значення по мірі того, як найприбутковіший видобуток алмазів поступово зсувався на південь. Замість цього в місті почало повільно розвиватися комерційне рибальство і пов'язане з ним мале суднобудування, а також з'явилися дрібні килимоткацькі підприємства, що користувалися сировинною базою вівчарства, розвиненого в континентальному регіоні південної Намібії. Але окрім цього Людериц мало що міг запропонувати своїм жителям, і колись процвітаючому місту почала загрожувати така ж доля, що раніше спіткала Колмансхуп, який після перенесення в 1943 році штаб-квартири CDM на південь до Ораньємунду прийшов в занепад, а к 1956 був повністю покинутий жителями, перетворившись на місто-примару.

Відкриття родовищ природного газу (родовище Куду) на довколишньому океанському шельфі наприкінці XX ст. принесло в Людериц нові сподівання. Економічно вигідним може виявитися також проект переробки водоростей, величезні маси яких викидає океаном на берег поблизу міста; водорості можуть стати джерелом цінних речовин для харчової та парфумерної промисловості. Пожвавити економіку міста можуть також засновані в його околицях устричні ферми.

В 1983 році до святкування сторіччя заснування міста були відреставровані численні будови колоніальної доби; місто значно поліпшило свій зовнішній вигляд і почало приваблювати туристів.