Olsen begon zijn sportcarrière als discuswerper. Zijn grootste successen behaalde hij echter met het kogelstoten. Hij studeerde geschiedenis aan de Universiteit van Idaho. Daar vormde hij zijn techniek om naar de draaistoot.
Hij vertegenwoordigde Denemarken tweemaal op de Olympische Spelen. In 2000 kwam hij met 19,41 m niet door de voorrondes heen en in 2004 won hij een bronzen medaille die jaren later, eind 2012 werd omgezet in een zilveren, nadat de oorspronkelijke winnaar, Joeri Bilonoh, in tweede instantie werd gediskwalificeerd wegens het gebruik van verboden prestatiebevorderende middelen. In 2005 versloeg Olsen met 21,19 de NederlanderRutger Smith (20,79 m) en de SpanjaardManuel Martínez (20,51) op het onderdeel kogelstoten tijdens de Europese indoorkampioenschappen in Madrid.