Il castello-recinto di Fossa è il tipico risultato dei fenomeni di incastellamento che si ebbero in epoca medievale. Si trova, infatti, nella parte più alta del paese, sul versante orientale del monte Circolo. Raccolse la popolazione di quella che era stata l'antica città prima vestina e poi romana di Aveia.
La struttura iniziale risale agli inizi del XII secolo ed era costituita dal mastio sulla sommità ed il recinto fortificato di forma trapezoidale che conteneva le prime abitazioni. Lo sviluppo del borgo è poi avvenuto al di fuori del recinto del castello. Questa struttura di castello-recinto era abbastanza diffusa nella zona, come testimoniano le analoghe strutture a San Pio delle Camere, Barisciano o Bominaco.