I signori von und zu Eltz, nobiltà cattolica renana, prendono nome dal castello e dalla località posti su un'altura sulla riva sinistra della Mosella, nell'elettorato di Treviri. Rudolf zu Eltz fu il primo personaggio storico conosciuto come testimone in un atto di donazione di una pertinenza del Castello da parte dell'imperatore Federico Barbarossa (1157). L'Imperatore Federico II concesse successivamente, il Castello ed il Borgo agli Eltz in fidecommisso. È un tipico Ganerburg, cioè un castello in condominio ereditario di fidecommisso familiare. Infatti l'imponente costruzione è stata elevata con lo sforzo economico delle tre linee familiari dei von Eltz: i Rübenach, i Rodendorf, i Kempenich. Ognuna di queste linee non avrebbe avuto le possibilità economiche per erigere una fortezza tanto vasta e possente. In questo modo, con lo sforzo congiunto è stato eretto un fortilizio per la difesa comune, sia pure composto da parti separate, per difendersi dalle mire espansionistiche dell'ambizioso arcivescovo elettore Baldovino di Treviri (1331-36).

Nel 1472 fu terminata, sul lato ovest della fortificazione, la residenza in stile gotico di Lancillotto e Guglielmo della linea di Eltz-Rübenach, caratterizzata dal salone inferiore ricco di decorazioni. I Rübenach presero il nome dalla località omonima presso Coblenza (1272).

Nel 1540 anche la residenza dei Rodendorf, costruita in stile tardo gotico, venne finita con la sala degli stendardi. Infine, verso il 1530 fu terminata la parte dei Kempenich, ove tuttora risiedono. Quest'ultima linea ebbe origine con Antonio zu Eltz che nel 1581 acquistò la signoria di Kempenich, rimasta in proprietà della famiglia fino al 1777.

Nel 1815 con la vendita delle proprietà della linea dei baroni von Eltz-Rübenach, il conte Ugo Filippo divenne unico proprietario del castello avito, essendo la linea di Eltz-Rodendorf estinta dal 1786 e le sue proprietà già ereditate dai Kempenich.