Der Überlieferung nach war die Burg schon um 950 vorhanden. Sie war selbstständig von der Stadt und muss mit ihren meterdicken, wuchtigen Mauern und vier trotzigen Ecktürmen auf der höchsten Erhebung des Gebietes ein imponierendes Bild geboten haben. Lange Zeit residierten die Landvogte der Lausitz auf ihr. Im Laufe ihres Besitztums von Sachsen zu Brandenburg wechselten die Burgherren häufig, die Burg blieb ab 1450 unbewohnt und verfiel. 1576 wurde Dunkelsburg letztmalig erwähnt. Die bereits verfallene Burg wurde der Stadt überlassen, um als Steinbruch für den Aufbau durch Brände zerstörter Gemeindegebäude zudienen. Die noch vorhandenen Teile der Burg wurden 2013/2014 saniert. Mit Fortschreiten der Freilegung wurden letzte Fragmente einer noch älteren Burganlage entdeckt. Das beauftragte Fachunternehmen vermutete sogar eine Art Innenarchitektur, eine gotische Gewölberippe. Ende August wurde die Instandsetzung nach Montage einer Stahlkostruktion als Abdeckung fertiggestellt. Das Ergebnis ist ein echter Hingucker geworden, welches am 3. September 2014 eingeweiht wurde.

Der Ursprung der Stadtmauer, die einst das gesamte Stadtoval umzog, kann im gleichen Zusammenhang mit der Burg gesehen werden. Der Grenzwall mit seinen 1,80 m hohen und etwa 80 cm dicken Feldsteinmauern ist teilweiseAm Schlagbaumerhalten geblieben. 1794 wurde der die Stadtmauer und Burg umgebende der Graben zugeschüttet und dafür Gärten angelegt.

Das Schloss wurde 1818/1819 nach Schinkelschem Vorbild von den Des Granges erbaut und 1864/1865 durch den Preußischen Finanzminister von Patow umgebaut und erweitert. Der Architekt Robert Scholz, heutiger Besitzer, restauriert das Gebäude seit einigen Jahren mit viel Fingerspitzengefühl und schuf wieder ein sehenswertes architektonisches Kleinod. Auch die Kirche, 1818 als schlichter Saalbau errichtet, entstand nach einem Entwurf Schinkel-Schülers. Der Turm wurde erst 1900 im neoromanischem Stil angebaut.