Nel 1180 il Castrum Sancti Viti passò dai monaci benedettini alla famiglia Colonna, che ne rafforzò le difese e lo tenne come feudo per quasi quattro secoli. Nel 1565 Marcantonio Colonna, oppresso dai debiti, cedette San Vito alla famiglia Massimo, che a sua volta lo trasferì nel 1575 ai Theodoli per 20.000 scudi romani.
Fu proprio la famiglia Theodoli a dare al paese gran parte dell’aspetto che ancora oggi lo caratterizza. Giovanni Theodoli fece costruire, tra il 1607 e il 1609, la Chiesa di San Biagio. Suo figlio Mario Theodoli realizzò nel 1649 Borgo Mario, una lunga e ampia strada fiancheggiata da edifici, contribuendo in modo decisivo all’urbanistica e all’ampliamento del borgo attorno al palazzo baronale.