En 1689, la famille de Bryas fait construire cette vaste demeure sur les ruines d'un château médiéval construit au 13eme siècle.  Une salle gothique située en bordure de Meuse est le seul vestige encore visible de cet ancien château. Outre la protection de la Ville, il servait à percevoir des taxes sur la navigation. En 1837 il devient la propriété de la société "Ardoisière Sainte-Anne" jusqu'en 1946, puis cité administrative de 1951 à nos jours. Le parc était dominé par un séquoia offert par Lafayette à son retour des Amériques. Ce château est inscrit à l'inventaire supplémentaire des monuments historiques depuis 1972.