Jackson werd geboren als zoon van Crystal Lee King en Samuel Jackson. Hij was de oudste van vier kinderen. Joseph Jackson beschreef zijn jeugd als eenzaam. In zijn memoires schreef hij dat hij zelden met andere kinderen speelde. Toen Joe achttien werd, ging hij bij zijn moeder in [[Chicago]] wonen. Daar ontmoette hij zijn toekomstige vrouw Katherine Scruse. Na een relatie van paar jaar, trouwde hij met haar. Samen gingen ze in [[Gary (Indiana)]] wonen, en daar werkte Joe, die vroeger een [[Boksen|bokser]] was, fulltime bij Gary's U.S. Steel Company, terwijl Katherine voor hun groeiende aantal kinderen zorgde, wat er uiteindelijk negen werden. In de jaren vijftig begon Joe een muziekcarrière met zijn broer Luther. Hij speelde [[gitaar]] in een band genaamd [[The Falcons]]. The Falcons zijn nooit buiten Gary bekend geworden en gingen na een paar jaar uit elkaar. Joe bleef wel gitaar spelen, met zijn familie.
