Der Taubenturm bildet seit 1628 den nördlichen Abschluss des ehemaligen Klosterhofs des Augustiner-Chorherrenstifts von Dießen am Ammersee, von dem große Teile nach der Säkularisation abgebrochen wurden. Bei dem Turm handelt es sich um einen dreigeschossigen Putzbau mit gestuftem Pyramidendach und einer rundbogigen Durchfahrt. Die geschweifte Haube des Turms ist noch mit handgestrichenen Biberschwanzziegeln gedeckt. Das originale und originelle Mansarddach wird dendrochronologisch auf 1761/1763 datiert. Der im Barock "Romenthaler Tor" genannte Taubenturm ist eine Art Wahrzeichen des Ortes. Von der barocken Bebauung um den Klosterhof ist ansonsten nur noch der sogenannte Traidcasten und der westlich an den Turm angebaute Stadel erhalten, ein kleiner 1628 errichteter Wirtschaftsbau mit Satteldach, der als Wagenremise des Klosters diente. Heute ist der sogenannte Scheffler-Stadel als letztes erhaltenes Ökonomiegebäude der Nordseite des Klosters ein wichtiges Zeugnis für die Art und Maßstäblichkeit der einstigen Umbauung des Klosterhofs.

Die akute Gefährdung der Passanten durch herabfallende Dachziegel verursachte eine schadhafte Dachlattung und erneuerungsbedürftige Dachrinnen. Sie hingen durch und waren an der jeweils tiefsten Stelle durchgerostet. Bei den Arbeiten am Taubenturm konnte ungefähr ein Viertel der originalen Ziegel wiederverwendet werden. Der Dachstuhl wurde zimmermannsmäßig repariert, die Schädigungen an den Auflagerpunkten behoben und eine neue Ziegeldeckung aufgebracht. Die Räume werden gelegentlich für Ausstellungen genutzt. Die attraktivste Veranstaltung in und um den Turm herum ist jährlich der beliebte und gut besuchte Weihnachtsmarkt.