La storia di palazzo Ruspoli inizia tra il IX ed il X secolo d.C., quando nell’attuale piazza Umberto I sorse la torre detta poi saracena, intorno alla quale si sviluppò intorno al XII secolo il nucleo originario del castello medioevale, appartenente probabilmente ai Conti di Tuscolo.