Baumgartner speelde in de jeugd voor SV Horn, AKA St. Pölten en 1899 Hoffenheim. Hij werd in januari 2019 overgeheveld naar de selectie van het eerste elftal van laatstgenoemde. Hij maakte vervolgens op 11 mei 2019 zijn debuut in de Bundesliga, toen hij inviel voor Nadiem Amiri in een met 0–1 verloren wedstrijd tegen Werder Bremen. Baumgartner veroverde in de tweede seizoenshelft van 2019/20 een basisplaats bij Hoffenheim en stond die ook in de volgende seizoenen niet meer af. Hij eindigde dat seizoen met zijn team op de zesde plaats in de Bundesliga en plaatste zich zo voor de UEFA Europa League. Daarin maakte hij tegen Molde FK, Slovan Liberec en Rode Ster Belgrado zijn eerste doelpunten in een Europees toernooi. Baumgartner speelde uiteindelijk vijf seizoenen voor Hoffenheim en kwam daarin tot meer dan 121 wedstrijden in de Bundesliga. Hij tekende eind juni 2023 een contract tot medio 2028 bij RB Leipzig, de bekerwinnaar en nummer drie van Duitsland in het voorgaande seizoen.
Baumgartner doorliep alle Oostenrijkse nationale jeugdteams van de selecties van –15 tot en met –19 en die van –21. Hij werd in april 2016 opgenomen in de Oostenrijkse selectie voor het Europees kampioenschap onder 17 in Azerbeidzjan. Hij maakte beide doelpunten in de 2–0 overwinning van Oostenrijk in hun openingswedstrijd tegen Bosnië en Herzegovina. Hij slaagde er met het team in om de kwartfinales te bereiken, waarin Oostenrijk verloor van Portugal. Baumgartner nam met Oostenrijk –21 deel aan het EK –21 van 2019. Hierop moest Oostenrijk na de groepsfase naar huis.
Baumgartner debuteerde op 4 september 2020 in het Oostenrijks voetbalelftal. Bondscoach Franco Foda gunde hem meteen een basisplaats in een met 1–2 gewonnen wedstrijd in het kader van de UEFA Nations League in en tegen Noorwegen. Drie dagen later maakte hij zijn eerste interlanddoelpunt. Hij schoot Oostenrijk toen op 1–1 in een met 2–3 verloren wedstrijd in de UEFA Nations Lague, thuis tegen Roemenië. Foda nam Baumgartner negen maanden na zijn interlanddebuut mee naar het EK 2020. Dat vond als gevolg van de coronapandemie plaats in juni 2021. Baumgartner schoot Oostenrijk naar de achtste finales door in het derde groepsduel het enige doelpunt van de wedstrijd te maken tegen Oekraïne. De latere kampioen Italië stuurde Oostenrijk vervolgens naar huis.