Op 1 februari 1609 betrokken de eerste oude mannen het gebouw. Het waren toen kleine huisjes naast elkaar, gebouwd rondom een vierkante binnentuin. In elk huisje woonden twee mannen. Er konden maximaal 60 oude mannen wonen. In 1810 verhuisden de oude mannen naar het Proveniershuis aan de Grote Houtstraat.
InVanaf 1810 verhuisden de oude mannen naarwerd het ProveniershuisGereformeerd aanof deBurgerweeshuis Grotein Houtstraat. Hethet gebouw kreeg nieuwe bewoners: 127 wezen werden er ondergebrachtgevestigd. De zolders van de huisjes werden doorgebroken, zodat er ruimte ontstond voor slaapzalen. 127 wezen werden er ondergebracht waaronder [[Jacobus van Looy]]. In 1854 werd het weeshuis eigendom van de [[Nederlandse Hervormde Kerk]]. Er werd ook nieuw personeel aangenomen, naast de binnenvader en de binnenmoeder. Er kwamen – in de geest van de [[Verlichting (stroming)|Verlichting]] - nu ook een naaimoeder, een schoolmeester en een kinderjuffrouw in dienst. In 1858 werd het gebouw uitgebreid met twee klaslokalen. Ook stadskinderen konden er terecht voor onderwijs. Het gebouw werd begin 20e eeuw te klein en te duur in onderhoud. De wezen verhuisden naar een nieuw weeshuis in de Olieslagerslaan.
[[Bestand:M-Frans Hals Museum.JPG|thumb|250px|Het gebouw rond 1915 als museum]]
