Das direkt an der Elbe gelegene Schloss diente seit dem 12. Jahrhundert mehreren Familien als Adelssitz. Seine Blütezeit erfuhr die Anlage im 18. Jahrhundert anlässlich eines Heerlagers Augusts des Starken. Mit Blick auf das als "Lustlager von Zeithain" in die Geschichtsbücher eingegangene Jahrhundertspektakel ließ Albrecht von Wolffersdorff das 1603 unter Einbeziehung der mittelalterlichen Fundamente als Spätrenaissance-Schloss errichtete Anwesen bereits ab 1728 in barocken Formen umbauen und erweitern. Ein neuer Südflügel orientierte sich mit einer beeindruckenden, durch Mittelrisalit und Pilaster gegliederten Fassade optisch zur Elbe hin. Auch die Innenräume wurden repräsentativ umgestaltet.

Zu der Rittergutsanlage gehören neben dem Schloss auch ein Gutsverwalterhaus und ein Wirtschaftsgebäude. Das weitläufige Anwesen wurde 1873 verkauft und 1945 enteignet. Die herrschaftlichen Räumlichkeiten wurden in kleine Wohneinheiten aufgeteilt. Eine LPG richtete Büros und einen Supermarkt ein. 1996 wurde das Anwesen zunächst an einen Privatmann verkauft, stand dann aber jahrelang leer und verfiel zusehends.