Im Jahr 1790 ließ Graf Christian Friedrich zu Stolberg-Wernigerode auf einer geradezu unwirtlichen Anhöhe etwa 300 m östlich des Lustgartens 190 Kastanienbäumchen anpflanzen.

Was ihn dazu getrieben hatte, ist nicht übermittelt. Aber der Erfolg gab ihm recht, und schon etwa 20 Jahre später konnte man 26 Zentner Esskastanien ernten, die es in Aussehen und Geschmack durchaus mit ihren italienischen Artgenossinnen aufnehmen konnten – und daran hat sich auch bei den heutigen Ernten nichts geändert. Immerhin durfte die Grafenfamilie sogar ihre Esskastanien für die Festlichkeiten des preußischen Kronprinzen liefern. 

Wegen des ungeahnten Erfolgs erweiterte man das Gelände auf mittlerweile stolze 1,7 Hektar. Das Kastanienwäldchen stellt somit ein beachtliches Naturflächendenkmal dar. Von weither sind im Frühjahr die hellen Blüten sichtbar, und im Herbst lockt die Anpflanzung zahllose Besucher an, die sich an den Köstlichkeiten bedienen dürfen. Aber auch zu den übrigen Jahreszeiten ist ein Spaziergang durch das Kastanienwäldchen unbedingt empfehlenswert.