Het Land van Zichem kwam in handen van Elisabeth van Brabant en haar echtgenoot graaf Gerard van Gulik. Hun zoon Willem verkocht in 1358 Zichem voor 70.000 gouden munten aan Reinier I van Schoonvorst. In 1371 kwam het gebied in het bezit van Reinier II van Schoonvorst. De kersverse heer van Zichem besloot de opbrengsten van de bloeiende lakenhandel aan te wenden voor de uitbouw en de verfraaiing van de stad.
Het is Reinier II van Schoonvorst die ca. 1383 de Maagdentoren liet bouwen op het kasteeldomein. Het doel van de Maagdentoren blijft tot op heden onduidelijk. Was het een woontoren, een verdedigingsbouwwerk, een prestigemonument of was het een combinatie van de drie?
In 1398 verkocht Reinier II van Schoonvorst de heerlijkheid Zichem aan Thomas II, heer van Diest. Honderd jaar later kwam Zichem en Diest door een ruiltransactie in handen van graaf Engelbert II van Nassau en werd Zichem enkele decennia en heren later een ‘Oranjestad’. De Oranjes bleven Zichem in hun bezit houden tot aan de Franse Revolutie.
In 1499 ruilt Willem van Gullik Zichem aan Engelbert van Nassau. Hiermee kwam een einde aan de heerschappij van een eeuwenoude adellijke huis. Zichem kwam in handen van een  Nederlandse graaf. Deze huwde met Zimburgis van Baden, de dochter van de zuster van keizer Maximiliaan van Oostenrijk. Tot aan de Franse revolutie bleef het lot van Zichem verbonden met het huis van Oranje-Nassau.

Zichem kreeg rake klappen te verwerken in de Tachtigjarige Oorlog op het einde van de 16de eeuw. Het Spaanse leger nam Zichem in 1578 gewapenderhand in. De burcht en de Maagdentoren werden deels vernield. Tweederde van de stad werd in de as gelegd en de bevolking massaal uitgemoord. Ook in de daaropvolgende jaren kreeg Zichem het nog zwaar te verduren. Pestepidemieën, plunderingen, een aardbeving, inkwartiering van troepen, vernielingen van de oogsten, graanopeisingen, etc. volgden elkaar in ijltempo op.
Bij het begin van de 17de eeuw lag de burcht volledig in puin. De ijzerzandsteen van het slot werd verkocht en hergebruikt bij de wederopbouw van het stadscentrum. Op de fundamenten van de ruïne bouwde Filips-Willem van Oranje, heer van Zichem, een bescheiden hoeve die later uitgroeide tot het huidige Oranjekasteel.

In het strijdgewoel van de Tachtigjarige oorlog verloor de Maagdentoren de bovenste verdieping en de toegangsconstructies (trapkoker, ophaalbrug, etc.). In 1859 verkocht Jos Valvekens de toren aan de Belgische Staat voor de ronde som van 2000 frank. Enkele jaren later in 1863 en 1905 volgden enkele hoognodige herstellingswerken. Het Vlaamse Gewest nam de toren over van de Regie der Gebouwen in 2000.
Ondanks de vele waarschuwingen van vzw Red de Maagdentoren beschouwde Vlaanderen de restauratie van de donjon als geen prioriteit. Na jaren van politiek getouwtrek en verwaarlozing stortte de Maagdentoren op 1 juni 2006 deels in. De donjon werd gerestaureerd. In een eerste fase werd de toren gestabiliseerd. De werken eindigden in 2015 en op 13 september van dat jaar ging de Maagdentoren weer open voor het grote publiek. VZW Red de Maagdentoren wordt later omgevormd tot het nieuwe VZW De Maagdentoren.