In antichità era in palazzo dedicato a tutti gli dei della Roma pagana, costruito da Marco Vispasiano Agrippa, genero e prefetto dell'imperatore Augusto, tra il 26 e il 25 a.C. come ex voto per la vittoria riportata sui persiani.
Originariamente aveva forma rettangolare e solo dopo due incendi Adriano lo fecce ricostruire in torno al 125 con la forma attuale, per la quale veniva nominato "Rotonda".
Divenne una chiesa cristiana nel 608 d.C. e fu dedicata a Santa Maria ad Martyres, quidi a tutti i martiri, in sostituzione alle divinità pagane. Una legenda vuole l'apertura al centro della cupola opera di un grosso diavolo, il quale pare si sia liberato e abbia preso a cornate il tetto e sia uscito dall'edificio durante la solenne cerimonia di consacrazione della chiesa.