An der Rheinfront gelegen, verkörpert der Eltzer Hof mit der Stadtmauer und dem Martinsturm das zentrale stadtbildprägende Ensemble. Ein fränkischer Königshof bildete die Grundlage für die Entwicklung des Ortes Eltville, der urkundlich erstmals in der Lebensbeschreibung des 1051 verstorbenen Erzbischofs Bardo von Mainz erwähnt wird. Zu dieser Zeit gehörte der Königshof dem Erzstift Mainz. Spätestens 1313 besaß das Dorf eine Befestigungsmauer, 1329 wurde die erzbischöfliche Burg gebaut und eine Stadtmauer errichtet, die Stadtrechte folgten 1332. Von 1347 bis 1480 war Eltville Residenzort der Mainzer Erzbischöfe.

Unter den historischen Adelshöfe, die es in Eltville gibt, ist der Eltzer Hof der größte. Er erstreckt sich von der Rosengasse bis zur Martins- und Leergasse und veränderte sich im Lauf der Jahrhunderte, nachdem der Vizedom von Bicken 1577 ein Grundstück an der Rheinfront erworben hatte.

Herzstück des Anwesens ist das bis 1580 errichtete Haupthaus, das im Übergangsstil von der Spätgotik zur Renaissance direkt an die Stadtmauer angebaut wurde. Der langgestreckte, auf längsrechteckigem Grundriss errichtete, zweigeschossige Putzbau mit östlichem spätgotischen Zwerchhaus und steilen Schild- und Brandgiebeln wurde 1744 barock überformt und besitzt aus dieser Phase ein hofseitiges Portal. Im Inneren haben sich qualitätvolle Stuckdecken, Lamberien und Fußböden erhalten.

Die Grafen zu Eltz, die den Hof 1629 übernommen hatten und seit 1745 ständig bewohnten, bezogen 1753 den Martinsturm in das Anwesen ein. Zu dem Ensemble gehören auch das später als Kavaliershaus bezeichnete Kellereigebäude aus der zweiten Hälfte des 17. Jahrhunderts, zwei Mainzer Stiftsgebäude von 1718/1719, ein kleines Wohnhaus von 1660 – das sogenannte Kutscherhaus – sowie weitere Wirtschaftsgebäude, ein großer Garten und ein weitläufiges historisches Kellersystem.

Die markanten, hohen Giebelfronten der Hauptflügel unterbrechen die ehemalige Stadtmauer am Rheinufer. Die aus Bruchsteinen errichteten, zweigeschossigen Putzbauten prägen Hochrechteckfenster mit Natursteingewänden und teilweiser Eckquaderung. Hohe Schieferdächer decken die Bauten.

Der Eltzer Hof, typisches Beispiel eines innerörtlichen Adelshofes mit angeschlossener Landwirtschaft und wegen seiner weitgehend original erhaltenen Bausubstanz von besonderem architektonischem Wert, gehört zu den über 170 Projekten, die die private Denkmalstiftung dank Spenden und Mittel der Glücks-Spirale, der Rentenlotterie von Lotto, allein in Hessen fördern konnte.