Hij doorliep de jeugdopleiding bij BFC en ging hierna naar Limburg Lions. In 2016 verliet hij Limburg Lions en ging voor Sporting NeLo spelen.[1] In 2019 keerde Pastoor weer terug naar Limburg Lions.[2]
Begin 2020 stopte Pastoor noodgedwongen met zijn actieve handbalcarrière. Hij revalideerde toen nog van een tweetal knieoperaties, maar het lukte hem niet meer mentaal om wedstrijden te spelen.[3]