In epoca normanno-sveva il piccolo centro di San Pietro Verrnotico ebbe un castello oggi andato perduto. Al posto del castrum normanno oggi sorge una torre di tipo feudale del XIV secolo,
modificata nel Rinascimento come si evince dall’architettura dell’attuale edificio fortificato. La torre presenta una forma quadrata di tipo rinascimentale con caditoie ai due lati dell’edificio. Un tempo la torre possedeva un fossato con un ponte levatoio che si chiudeva in caso di pericolo. Oggi del castello perduto del paese non è rimasto più nulla, l’unica cosa che sappiamo è che in epoca normanna San Pietro Vernotico faceva parte della Contea di Lecce e che il conte di Lecce, Accardo II Altavilla, nel 1133 fece una donazione della chiesa del Beato Apostolo Pietro alla mensa vescovile di Lecce e che il castello doveva sorgere dove oggi si trova l’attuale torre quadrata. Sappiamo inoltre che in epoca sveva il castello fu la residenza di Federico II.