Meer dan 700 jaar geleden werd de eerste steen gelegd voor kasteel Schwarzenberg, dat vandaag de dag nog steeds een bezienswaardigheid is in Plettenberg. Sinds een verwoestende brand in 1864 zijn alleen de funderingsmuren van het versterkte en residentiële gebouw overgebleven. Vroeger bepaalden de baljuws die in Schwarzenberg woonden enkele eeuwen lang het wel en wee van de regio voordat het kasteel in 1661 in het bezit kwam van de familie von Plettenberg en langzaam in verval raakte, beroofd van zijn vroegere betekenis. Een wandeling naar de kasteelruïne Schwarzenberg is een must voor elke bezoeker aan de stad van de vier valleien. De ruïnes met hun indrukwekkende muren zijn bij elk weertype een avontuur en een excursiebestemming die de moeite waard is.
Van kasteel Schwarzenberg zijn nog delen van het bakhuis, de fundamenten van het Drostenhaus, een ronde trap en resten van de 13 meter hoge donjon en de 26 meter diepe waterput bewaard gebleven. De donjon is nog steeds een duidelijk zichtbaar teken van de activiteiten op de kasteelruïne Schwarzenberg. Hij werd in 1983-87 door de lokale geschiedenisgroep herbouwd op de nog aanwezige fundamenten, gebaseerd op oude hedendaagse afbeeldingen van kasteel Schwarzenberg.
Wandeling naar de Burgruine der Burg Schwarzenberg (betreden op eigen risico!):
https://touren.sauerland.com/de/tour/wanderung/plettenberg-burgruine-schwarzenberg-mit-aussichtspunkt-engelbertstuhl/58180422/