Schon der Name Wittenburg deutet darauf hin, dass es hier früher einmal eine Burg gegeben haben muss. Diese wurde 1150 von Heinrich dem Löwen zerstört und durch eine neue Burganlage ersetzt, auf dessen Fundament 1848 der Amtsturm errichtet wurde.
Der spätmittelalterliche Torturm der ehemals massiven Burganlage ist, abgesehen von einigen noch heute sichtbaren Resten, der einzige Teil der historischen Anlage, der erhalten geblieben ist. Dieser ist Teil des 1848 errichteten, neoklassizistischen Amtsgebäudes, der dem Berg seinen heutigen Namen gab. Die Turmruine wurde 1998 saniert. Hier und in der Heimatstube unmittelbar neben dem Turm können sich Besucher über die Stadtgeschichte informieren. Auf der verglasten Aussichtsebene finden außerdem regelmäßig wechselnde Ausstellungen statt. Auch der umgebende Park ist einen Besuch wert.
