Au début du XIIIème s., le château est implanté en un point qui correspond à l'entrée actuelle du parc. Lorsque le domaine passa aux d'Arenberg, il fut restauré et embelli jusqu'à l'invasion de la ville par les sans culottes. Il fut alors pillé et dépouillé de ses richesses.