Holse begon te voetballen bij de jeugd FC Kopenhagen. In 2017 maakte hij de overstap naar de eerste ploeg van Kopenhagen. Op 23 september 2017 maakte Holse zijn debuut in de Superligaen in de met 4–0 gewonnen thuiswedstrijd tegen Silkeborg IF. Elf minuten voor tijd kwam Holse Pieros Sotiriou vervangen.[1] Op zijn eerste doelpunt in de nationale competitie was het wachten tot 26 augustus 2018. Hij scoorde het tweede doelpunt op aangeven van Viktor Fischer in de met 3–2 gewonnen thuiswedstrijd tegen SønderjyskE.[2] In 2019 werd hij kortstondig verhuurd aan Esbjerg fB. In januari 2020 tekende hij voor een bedrag van €560.000 bij Rosenborg BK.[3]