Il sito su cui sorge il castello era probabilmente occupato fin dall’alto medioevo: secondo la tradizione, fu nel IX secolo, in seguito alle incursioni saracene, che gli abitanti delle zone circostanti si rifugiarono sulla rupe, dando origine al nuovo insediamento fortificato attorno al quale si sviluppò il paese. Un documento del 1085, conservato nel Regesto Sublacense, attesta la donazione di alcune terre al Monastero di Subiaco: è la prima attestazione certa del “castrum Sancti Viti” e un segno del controllo esercitato dai monaci benedettini sull’area. Verso il 1180 il feudo passò alla potente famiglia Colonna, che ampliò la rocca e ne rafforzò le difese, facendone il centro del potere feudale sul territorio; il dominio colonnese proseguì fino al XVI secolo, quando le difficoltà economiche della famiglia ne resero necessaria la cessione. Secondo alcuni storici e la tradizione locale, proprio tra queste mura sarebbe nato papa Martino V, al secolo Oddone Colonna, eletto pontefice nel 1417: la notizia, che si inserisce nel periodo del dominio colonnese, resta tuttavia oggetto di dibattito e va considerata una tradizione storica più che un fatto accertato.
Nel 1563 i Colonna cedettero San Vito alla famiglia Massimo, che intorno al 1575 la passò ai marchesi Theodoli, tuttora proprietari del castello (da non confondere con l’omonimo Castello Theodoli di Sambuci). Fu Gerolamo Theodoli, vescovo di Cadice, ad acquisire la signoria di San Vito insieme ai possedimenti di Ciciliano e Pisoniano; nel 1592 Teodolo Theodoli assunse il titolo di primo marchese di San Vito, inaugurando la lunga stagione in cui la famiglia non si limitò a possedere il feudo, ma contribuì a ridisegnare il paese e il suo assetto urbano.
Fu il cardinale Mario Theodoli, nato nel 1601, a promuovere - a partire dal 1640 circa - la costruzione del “Borgo Mario”, sorto su un livello artificiale accanto alla fortezza per ampliare il vecchio centro medievale oltre i limiti imposti dalla rupe: vennero aperte nuove strade e avviati importanti interventi edilizi, tra cui la chiesa dei Santi Sebastiano e Rocco e l’adiacente convento dei Carmelitani. Mario morì nel 1650 prima che il programma fosse completato, e l’opera venne proseguita dal nipote Carlo Theodoli, al quale si deve l’assetto attuale dell’edificio: la caratteristica forma a nave con la prua protesa verso il corso principale, la loggia, le rampe di accesso a esedra e la merlatura guelfa sulla sommità. Nel Settecento la famiglia continuò a lasciare un’impronta importante sul territorio, e tra i suoi esponenti si distinse Gerolamo Theodoli (1677-1766), architetto e marchese di San Vito, noto anche per la sua attività a Roma.
Gli interni, non visitabili perché tuttora abitazione privata della famiglia Theodoli, custodiscono affreschi e decorazioni in parte attribuiti al pittore Crescenzio Onofri. Le logge ad arco si affacciano su Corso Mario Theodoli, mentre l’ingresso principale, sul retro dell’edificio, guarda verso la Chiesa di Santa Maria de Arce. Con la sua mole imponente e la posizione scenografica, il castello resta l’immagine più riconoscibile di San Vito Romano, ammirabile dall’esterno da molti punti del paese.