Met de bouw werd begonnen door keizer [[Titus Flavius Domitianus|DominitianusDomitianus]] (81-96), maar hij werd pas voltooid onder [[Hadrianus]] (117-138). Het was een rechthoekig gebouwencomplex gemaakt van beton dat met baksteen was bekleed. De hoofdingang bevond zich aan de noordkant. Er waren op de begane grond 14 vertrekken aan de lange kant en 10 aan de korte, met daarboven één of twee verdiepingen. Ze moeten voor het grootste deel gefungeerd hebben als cellen voor de [[gladiator]]en. De 14 bewaard gebleven vertrekken zijn ca. 5 x 4 m. en boden waarschijnlijk onderdak aan 2 gladiatoren. Ook kqeizerkeizer [[Commodus]], die graag deelnam aan gladiatorengevechten, zou hier verbleven hebben. De vertrekken lagen om een grote binnenplaats die was omgeven door een portico met zuilen van [[travertijn]]. In de binnenplaats was een klein [[amfitheater]] van 63 x 42 m. met 8 rijen zitplaatsen voor 3.000 toeschouwers, het bekijken van de gladiatorentraining was namelijk een populair tijdverdrijf in Rome. De arena lag 2.75 meter lager dan de tribunes, die waren omgeven door een muur van 2 m. hoog met een kroonlijst van wit marmer. De toeschouwers konden via kleine trappen aan de buitenzijde hun plaatsen bereiken. Op de lange as van de arena waren twee grote toegangen. Daarnaast waren er vermoedelijk nog vier kleine opslagruimten op de korte as. Op de hoeken die buiten het amfitheater op de rechthoekige binnenplaats werden uitgespaard waren vier waterbassins.
Nadat de gladiatorengevechten in de 5e eeuw werden verboden raakte de Ludus Magnus buiten gebruik en verviel. Rond de 6e eeuw werd de locatie gebruikt als begraafplaats.
