L’histoire du palais Ruspoli commence entre le IXe et le Xe siècle de notre ère, lorsqu’une tour, appelée plus tard tour sarrasine, a été construite sur l’actuelle Piazza Umberto I, autour de laquelle s’est développé le noyau original du château médiéval vers le XIIe siècle, appartenant probablement aux comtes de Tuscolo.