Ivanof maakte in 2009 de overstap van de jeugdopleiding van Sint-Truidense VV naar die van KRC Genk, waar hij in dezelfde leeftijdscategorie als onder andere Leon Bailey, Bryan Heynen, Nordin Jackers en Dries Wouters terechtkwam.[2] Ivanof kreeg echter geen profcontract bij Genk, waarop hij in 2014 samen met zijn broer Marvin naar Lille OSC trok.[3] Een jaar later belandde hij bij KV Kortrijk, waar hij twee maanden voor zijn twintigste verjaardag zijn eerste profcontract ondertekende.[4]
In het seizoen 2017/18 stroomde hij door naar de eerste ploeg van de Kortrijkzanen. Zijn debuut in Eerste klasse A kwam er op 29 april 2017 in de wedstrijd op KRC Genk, waar hij in de 67e minuut Stijn De Smet mocht vervangen. De wedstrijd eindigde op 3–0.[5] Mede door een zware knieblessure speelde hij slechts elf officiële wedstrijden voor Kortrijk, waaronder negen in Play-off 2.[6]
In de winter van 2020 maakte Ivanof de overstap naar RWDM.[7]