Het goed Kermestein was een leen van de heren van Lienden en later van de heren van Culemborg. In 1456 was het reeds in het bezit van het geslacht Van Brakell. Het adellijk huis werd door Cornelis van Brakell in de eerste helft van de 16e eeuw gebouwd (of herbouwd) terwijl een van zijn voorvaderen, Johan van Brakell, al in 1436 als heer van Kermestein wordt vermeld. De familie [[Van Brakell]] bleef tot 1714 eigenaar. In dat laatste jaar liet Johan Frederik van Brakell het na aan zijn zuster Dorethea Henriëtte van Brakel die gehuwd was met Abraham de Pagniet waardoor Kermestein in bezit kwam van het geslacht De Pagniet.
Na de dood van Abraham vererfde Kermestein in 1724 op diens zoon [[Carel Lodewijk de Pagniet]] die in 1789 opgevolgd werd door zijn zoon Reinier Johan Christiaan. In 18251803 werdenwerd het verkocht aan Willem van Brughem waarna huis en [[landgoed]] tein koop1825 verkocht werd aan familie van der aangebodenMey.<ref>[http://resources2.kb.nl/010145000/pdf/DDD_010148768.pdf kb.nl], ''Arnhemsche Courant'', 30 juni 1825</ref> Tot 1840 werd het kasteel bewoond door Jhr. Jean Charles Francois de Meij van Streefkerk. Het kasteel bestond toen uit 10 kamers met een grote zaal, een keuken en kelders.<ref>[http://resources3.kb.nl/010510000/pdf/DDD_010514849.pdf kranten.delpher.nl], Haarlemsche Courant, 5 maart 1840 </ref> Bij het kasteel stonden stallen, een koetshuis en verscheidene personeelswoningen.<ref>[http://resources3.kb.nl/010515000/pdf/DDD_010519470.pdf kranten.delpher.nl], Haagse Courant, 6 september 1848</ref> Daarna volgde familie Scheurleer. Na het overlijden van Willem Jacobus Scheurleer in 1877 werd het huis, dat nog slechts een boerenhoeve was, in 1879 gesloopt.
Het kasteel bestond toen uit 10 kamers met een grote zaal, een keuken en kelders.<ref>[http://resources3.kb.nl/010510000/pdf/DDD_010514849.pdf kranten.delpher.nl], Haarlemsche Courant, 5 maart 1840 </ref> Bij het kasteel stonden stallen, een koetshuis en verscheidene personeelswoningen.<ref>[http://resources3.kb.nl/010515000/pdf/DDD_010519470.pdf kranten.delpher.nl], Haagse Courant, 6 september 1848</ref>
