Im Jahre 1080 wurde die Ravensburg durch Hermann II von Calvelage erbaut, war sie bis 1346 Wohnsitz der Grafen von Ravensberg. Die Ravensburgbesteht aus einer Vor- und Hauptburg und wird von einer Ringmauer sowie einem Trockengraben umgeben.
Zugang zur Burg besteht lediglich über ein Torhaus mit Zugbrücke und folgenden Zwinger. Beide Gebäude haben Wirtschaftsgebäude, jedoch in der Hauptburg ist zusätzlich ein Palas, Bergfried, sowie ein Burgbrunnen und eine Burgkapelle “Sankta Magdalena”.
1346 nach dem Tod des letzten Grafen von Ravensberg -Bernhard- wurde die Burg weitervererbt an das spätere Haus Jülich-Kleve-Berg und dann weiter an die Hohenzollern. Im 30jährigen Krieg waren mehrere Besitzerwechsel, wobei 1646 der Burgfried erneuert wurde.
1662 verliessen die letzen Burgbesitzer die Burg.
1673 wurde die Burg weitestgehend zerstört durch die Truppen vom Fürstbischhof Christoph Bernhard Graf von Galen.
1695 wurde als letztes die Drostei (Amtmann) aus der Burg verlegt.
Fortan verfiel die Burg bis Friedrich Wilhelm der I. von Preussen im Jahre 1733 alle Gebäude abreissen lies, damit die Steine für neue Häuser verwendet werden konnten. Einzig der Bergfried blieb erhalten.
1830 wurde durch Ludwig v. Vincke (Oberpräsident der Provinz Westfalen) der Verfall gestoppt und dafür gesorgt das eine Aussichtsplattform auf dem Turm errichtet wurde. Ebenfalls erbaute er ein Forsthaus im Burghof, damit es ein attraktives Ausflugsziel wurde.
2003 wurde die Stiftung “Burg Ravensberg” zum Erhalt der Burg aufgrund einer Initiative des Borgholzhauseners Wolfhart Kantstein gegründet.
