Il castello del Cassero fu costruito a partire dal 1377 per opera del conte anconitano Nicolò Toriglioni. Il nobile possedeva numerose proprietà terriere nei dintorni del Cassero ed era uno degli uomini più illustri d’Ancona tanto da ricoprire la carica prestigiosa di ambasciatore d’Ancona presso Urbano IV. Nel 1377 s’iniziò la costruzione del castello del Cassero per ragioni militari. Infatti questo consentiva un preciso canale di comunicazione visiva: dalla torre maestra era visibile Rocca Priora a nord, Camerata a ovest, Castel d’Emilio e Agugliano a sud, Paterno ad est. Il castello del Cassero era originalmente a pianta quadrata, con tre torri: due disposte nel mezzo dei lati sull’asse Sud-Est/Nord-Ovest e l’altra, detta torre maestra, verso Sud-Ovest. Le torri e le cortine erano merlate; l’ingresso avveniva dalla torre di guardia attraverso un robusto portone sorretto da possenti cardini di pietra. Inoltre piccole troniere erano collocate nei punti nevralgici: due ai lati dell’ingresso e due sotto le caditoie nel lato principale della torre maestra. Le torri così disposte permettevano una dotazione difensiva efficace: la torre maestra permetteva di controllare la nemica Iesi, la torre a sud- est, detta torre di guardia, la città di Ancona e la terza la zona di Castelferretti. Il castello rimase di proprietà dei Toriglioni fino al XVIII secolo, poi fu diviso fra vari proprietari. Nel sottosuolo del castello, si dipana un’intricata ed irregolare maglia di grotte, costruite in mattoni, che saggiamente ed abilmente incastrati, presentano una forma armonica ripetitiva con colonne laterali che confluiscono in un soffitto centrale a volta. Il fondo di questi camminamenti sotterranei è attualmente coperto dall’acqua che periodicamente si raccoglie nella parte più bassa del castello. La struttura originaria è stata rimaneggiata: delle antiche merlature guelfe oggi c’è solo quella della torre maestra e le cortine murarie sono state abbassate.