Si pensa che il primo centro sorse sulla macerie di Alba Longa, città di età pre-romana fondata secondo la tradizione da Ascanio, figlio di Enea. Numerose testimonianze archeologiche sono presenti in prossimità di Castel Gandolfo, fra queste si ricordano i resti della villa di Domiziano ed edifici tardo-repubblicani e di età imperiale.

Il borgo deve la sua attuale denominazione alla potente famiglia longobarda dei Gandolfi, che nel XII secolo controllò il territorio. Il centro divenne quindi possedimento dei Savelli e fu elevato a Ducato in favore di Bernardino Savelli, fino a quando nel 1596 il feudo fu pignorato per insolvenza e dal 1604 fu incluso nei possedimenti inalienabili della Santa Sede.

Il primo papa che soggiornò nella città fu Urbano VIII nel 1628 e proprio a lui si deve la prima bolla papale emanata ex Arce Gandulphi. Nel 1798 una cruenta battaglia, conosciuta come battaglia di Frattocchie o di Castel Gandolfo contro i francesi di Gioacchino Murat devastò il centro e le truppe misero a sacco il Palazzo Pontificio Nel 1870 con l’ingresso dei bersaglieri a Roma si concludeva definitivamente il potere dello Stato Pontificio e papa Pio IX e i suoi successori non soggiornarono più nella residenza papale, fino a quando, grazie alle Leggi delle Guarentigie nel 1871 lo spazio del Palazzo Pontificio non ottenne l’extra-territorialità.

Benito Mussolini stipulando i Patti Lateranensi nel 1929, concesse il possesso del Palazzo Pontificio e le attigue proprietà al nuovo Stato della Città del Vaticano. Una curiosità: la prima cassetta postale del mondo fu collocata a Castel Gandolfo nel 1820 in piazza della Libertà ed è tuttora visibile.

Oggi il centro è un grazioso borgo medievale, inserito all’interno del Parco Regionale dei Castelli Romani ed è molto noto per essere la residenza estiva papale.