Anticamente, l’abitato aveva forma di triangolo isoscele ed era chiuso da una cinta muraria costituita da abitazioni fortificate. Alla base del triangolo si aprivano le due porte, dette del Pozzo (a occidente) e del Piscero (a oriente). Al vertice del triangolo, più vulnerabile, fu edificato il castello bizantino, del quale resta solo la torre. Questa è alta complessivamente 20 metri consta di un fondamento pieno a forma poligonale e un cilindro alto 16 metri e di 6,20 metri di diametro. L’intera costruzione è stata realizzata in pietra locale legata con litocolla, ossia malta fatta con solo idrato di calce, senza sabbia. Lo spessore dei muri circolari è di 2,50 metri. Dei tre piani originari della torre, ne sopravvivono solo due, altri rispettivamente 14 e 4 metri. Al primo piano si accedeva solo attraverso una finestra balcone aperta sulla cortina muraria e raggiungibile attraverso una scala esterna. Mediante una scalinata in pietra a chiocciola incassata nel muro ovest, si sale dal secondo piano al terrazzo, che domina la campagna circostante. La chiesa di Castelluccio presenta un portale con segni araldici privi di data data.
