Bardsley stroomde door vanuit de jeugd van Manchester United. Hij debuteerde op 24 augustus 2005 in het eerste elftal, in een met 0–3 gewonnen wedstrijd in de UEFA Champions League uit bij Debreceni VSC. Zijn debuut in de Premier League volgde op 14 december 2005. Coach Alex Ferguson liet hem toen in de 65e minuut invallen voor Rio Ferdinand in een met 4–0 gewonnen wedstrijd thuis tegen Wigan Athletic. Bardsley speelde dat jaar acht competitiewedstrijden, maar brak niet door bij United.
Manchester United verhuurde Bardsley vanaf januari 2004 aan achtereenvolgens Antwerp FC, Burnley, Rangers, Aston Villa en Sheffield United. Hij vertrok in januari 2008 definitief bij Manchester en tekende bij Sunderland. Hiervoor speelde hij in zeven seizoenen 174 wedstrijden in de Premier League. Hij was in deze periode met name onder coaches Roy Keane, Ricky Sbragia, Steve Bruce en Martin O'Neill en Gustavo Poyet een vaste waarde in het team. Bardsley maakte op 5 januari 2011 voor het eerst in zijn profcarrière een doelpunt. Hij maakte toen het enige doelpunt van de wedstrijd in een competitieduel uit bij Aston Villa.
Bardsley verruilde Sunderland in juli 2014 transfervrij voor Stoke City. Coach Mark Hughes gebruikte hem hier in zijn eerste seizoen in 25 competitiewedstrijden, waarvan 24 in de basis. Door concurrentie van Glen Johnson, blessures en schorsingen, verdween hij in de volgende jaren naar het tweede plan. Bardsley verlengde in mei 2017 zijn contract bij Stoke tot medio 2018.[1] Hij verhuisde twee maanden later niettemin naar Burnley FC.