Di forma ellittica, aveva all'esterno due ordini sovrapposti di cinquantacinque arcate su pilastri che sorreggevano la cavea, formata a sua volta da venti gradini e capace di diecimila spettatori.
L'edificio, andato in rovina durante le invasioni barbariche, diventò per secoli una specie di cava di materiali da costruzione: non a caso, durante il Medioevo era indicato col nome di "grotte". In particolare venne spogliato dell'intero rivestimento e di tutte le colonne. In seguito sui ruderi rimasti iniziarono a sovrapporsi case e costruzioni che utilizzando le residue strutture dell'Anfiteatro, ne conservarono perfettamente la forma.
L'attuale splendida piazza, singolare ed unica nel suo genere, fu realizzata dall'architetto Nottolini (dal 1830) che fece abbattere alcune costruzioni sorte al centro e vi creò intorno la via detta appunto dell'Anfiteatro.