Ghaly begon zijn carrière in eigen land bij Al-Ahly, voordat hij de overstap maakte naar Feyenoord. Bij de Rotterdammers speelde hij tweeëneenhalf seizoen, maar kon hij nooit een "vaste" basisplaats afdwingen. Toch wist hij in de wedstrijden dat hij wel speelde regelmatig het applaus vanaf de tribunes in ontvangst te nemen. Daar tegenover stonden ook regelmatig fouten die de ergernis deden oplaaien. In januari 2006 maakte Ghaly dankzij trainer Martin Jol de overstap naar Tottenham Hotspur. Na anderhalf jaar bij Tottenham werd Hossam uitgeleend aan Derby County.
In maart 2010 testte hij, in dienst van de Saoedische club Al-Nassr, positief in een dopingonderzoek. Deze test werd uitgevoerd door een Maleisisch laboratorium. Een maand later werd hij vrijgesproken na een tegentest door een Keulens laboratorium. In juni 2011 werd het Maleisische laboratorium geschrapt door het World Anti-Doping Agency wegens incompetentie.[1] Daarna keerde hij terug naar Al-Ahly. In juli 2013 vertrok Ghaly transfervrij naar K Lierse SK, om een jaar later weer terug te keren naar Al-Ahly. Na drie seizoenen Al-Ahly vertrok Ghaly transfervrij naar Al-Nassr, waar hij in ruim vijf maanden tijd twaalf competitiewedstrijden speelde. In januari 2018 keerde Ghaly terug naar Al-Ahly, waar hij in juli 2018 op 36-jarige leeftijd zijn voetballoopbaan beëindigde.