Nel VI secolo, durante la dominazione longobarda, il territorio fu segnato da un sistema di controllo amministrativo di cui restano tracce ancora oggi nella toponomastica locale, come il nome della zona “La Corte”, che richiama il termine longobardo curtis.
Nel IX secolo le incursioni saracene lungo la valle spinsero gli abitanti a rifugiarsi in quota, dove ricostruirono l’insediamento attorno a una fortezza posta sulla sommità della rupe. Furono i monaci benedettini a dedicare il nuovo borgo a San Vito, dando origine al toponimo Castrum Sancti Viti, il “Castello di San Vito”, da cui deriva il nome del paese. Di questo periodo medievale si conservano ancora oggi alcune porte di accesso al borgo, costruite ad arco a sesto acuto con blocchi di pietra legati da malta di calce bianca.