Het kasteel is gebouwd in de elfde eeuw en werd in 1084 door [[Richilde van Henegouwen]] verkocht aan [[Hendrik I van Verdun]], [[Lijst van prins-bisschoppen van Luik|prins-bisschop van Luik]]. De prins-bisschop schenkt het beheer aan het hoofd van de abdij van [[Saint-Hubert (België)|Saint-Hubert]]. In 1099 verwoest de abt het kasteel. [[Otbertus]], de opvolger van Hendrik, laat het herbouwen.
In 1294 koopt [[Jan II van Avesnes]], hertog van Henegouwen, het kasteel. Dit wordt echter betwist en in 1302 belegert en verovert prinsbischopprins-bisschop [[Adolf II van Waldeck]] het slot. [[Filippa van Luxemburg]] claimt na de dood van haar man Jan van Avenes, het kasteel. 1310 wordt de utilitaire rechten van domein en het kasteel door de rechters toegewezen aan Fillippa, de soevereine rechten van het domein behoren aan het [[prinsbisdom Luik]]. In 1334 koopt [[Jan de Blinde]], graaf van Luxemburg de burcht. 1343 wordt het verkocht aan prins-bisschop [[Adolf van der Mark (prins-bisschop)|Adolf van der Mark]], teruggekocht en uiteindelijk door [[Wenceslaus I van Luxemburg]], hertog van Luxemburg aan [[Willem I van Namen]], hertog van Namen verkocht. Zo komt het kasteel in handen van de hertogen van Bourgondië en in 1471 schenkt [[Karel de Stoute]] het domein aan Eberhard [[Huis van der Mark]] en [[Huis Arenberg| Arenberg]]. De [[Vrede van Rijswijk]] in 1697 bevestigt de status apart van het het kasteel van Mirwart, de eigenaars zijn de graven van Mark onder de soevereiniteit van het pinsbisdom Luik.
In het begin van de 18e eeuw volgen uitgebreide renovaties en verlies het kasteel haar sterk versterkt karakter.
