Als Sitz der Familie von Veltheim wurde Destedt bereits 1306 erwähnt. 1693 errichtete Ludolf v. Veltheim das zweigeschossige Herrenhaus. Die Südfassade ist mittels ionischen Kolossalpilastern gegliedert. Eine zweiläufige Treppe führt in das Gebäude. Die gartenseitige Südfassade wurde 1875 durch eine Terrasse mit Freitreppe ergänzt.

Den sogenannten Englischen Landschaftsgarten auf der Südseite des Herrenhauses ließ 1786 J.F. v. Veltheim anlegen. Die Planung begann bereits 1772 unter der Beteiligung des ehemaligen Gärtners aus Schwöbber und Hofmedicus Braunschweigs, Johann Philipp Du Roi. Neben Teichen und Bachläufen besitzt der Park auf 6,5 Hektar einen künstlichen Hügel, den sogenannten Pflaumenberg mit einem Aussichtsplateau und einer Grotte. Im 18. Jahrhundert wurde zur Anreicherung des Parks über eine künstlich angelegte Wasserleitung ein Bachlauf durch den Park gelegt. Der Park weist neben zahlreichen einheimischen Bäumen auch viele fremde Baumarten auf, die aus Sammelleidenschaft zum Teil aus Samen gezogen wurden. Der öffentlich zugängliche Park steht seit 1953 unter Landschaftsschutz.

Der im Großen und Ganzen gepflegte Park bedurfte jedoch in einigen Bereichen der Beseitigung von Schäden durch Verwilderung oder Vandalismus. So musste der Erschließungsweg zum Pflaumenberg wieder freigelegt werden, das Brunnengeländer des heute verlandeten, ehemaligen Dorfbrunnens wiederhergestellt und einige Bäume nachgepflanzt werde. Dabei dient das vor einigen Jahren entwickelte Pflege- und Restaurierungskonzept, das die historische Gestaltung wieder sichtbar werden lässt, als Arbeitsgrundlage. Zuwucherungen, absterbende Bäume, Verlandungen einzelner Gewässer sowie Schäden an baulichen Elementen, die zunehmend das Landschaftsbild prägten, mussten beseitigt werden. Schrittweise wurden die Tothölzer entfernt, gefährdete Bäume gefällt und nachgepflanzt, Sichtbeziehungen wieder hergestellt, Brücken stabilisiert und Wege wieder angelegt, die Aussicht vom Pflaumenberg durch Rückschnitt der Gehölze wieder freigelegt etc. Die Überalterung des Parks hatte zum Absterben einiger Großbäume geführt, die zum Teil dicht neben erhaltenswertem Gehölzbestand oder dem Schlossgebäude standen, sodass diese Fällungen durch Spezialfirmen stattfinden mussten. Nunmehr stehen weitere Wegebauarbeiten an.

Schloss Destedt ist eines der über 340 Projekte, die die Deutsche Stiftung Denkmalschutz dank Spenden und Mittel der GlücksSpirale, der Rentenlotterie von Lotto, allein in Niedersachsen fördern konnte. Für den Schlosspark in Cremlingen standen auch Mittel der von der DSD treuhänderisch verwalteten Gemeinschaftsstiftung Historische Gärten zur Verfügung.