In età normanna venne realizzata la torre quadrata, cioè il donjon, che fu, almeno all'inizio, l'unico edificio fortificato. Ad esso si accedeva attraverso un ingresso sopraelevato. L'esistenza della torre fin dai primi anni del XIII secolo è documentata dal ritrovamento, avvenuto durante alcuni lavori di restauro, di una lastra in travertino murata al di sopra del portale d'ingresso, con iscrizione che indica il 1216 come anno della sua costruzione.

Alle spalle della torre si costruì in seguito una piazza d'armi cinta da mura che inglobavano vari ambienti, di cui oggi sono visibili i ruderi sul lato Nord, e da altre torri minori, delle quali una è tuttora presente nell'angolo di Sud-Est. Una terza torre, demolita dopo il sisma del 1962, era situata sul lato Nord a controllo del percorso del Regio Tratturo. Cinque invece dovevano essere le porte di accesso al borgo: la Porta Vallone ad est, la Porta Beneventana ad ovest, con il ponte levatoio, la Porta Carrara a nord, per il passaggio dei carri, la Porta Fontana a sud e la Portella a sud-est.

Nel 1485 il feudo di Casalbore fu venduto dalla Corte Regia alla nobile famiglia dei Caracciolo, che trasformò il maniero in dimora signorile, con la costruzione del palazzo posto sul lato Sud della corte, con vista su Via Napoli.

La struttura ebbe diverse modifiche ancora nel XVII e XVIII secolo. Nella seconda metà del Settecento il complesso già mostrava evidenti segni di cedimento, dovuti ad una lunga fase di abbandono che si accentuò nel corso degli anni.

Nel 1835 nella contrada denominata “sottocastello” restavano solo i resti “delle fabbriche dell'antico palazzo baronale”. Le mura cominciarono ad essere abbattute o inglobate nelle nuove costruzioni e un'altra torre venne rasa al suolo, mentre la torre beneventana fu fortunatamente acquisita dal Municipio.

La torre, alta oltre venticinque metri, presenta pianta quadrangolare e pareti realizzate con blocchi in pietra grigia locale. Probabilmente in un'epoca successiva alla costruzione, furono realizzati il basamento a scarpa, alcune piccole finestre e diverse feritoie. All'interno, al piano inferiore è visibile un grande camino in muratura con cornice in pietra scolpita ed una copertura voltata a botte. L'impianto originario dell'edificio era dotato anche di un camminamento interno in legno per consentire il raggiungimento della sommità della torre.

Il basamento della torre ingloba la Porta Beneventana che in origine non doveva esistere; infatti queste strutture erano solitamente costituite da una cisterna per l'acqua al piano terra e da vari livelli sovrapposti, ripartiti da solai lignei. Questa ipotesi è sostenuta dal rinvenimento, nel corso delle passate indagini archeologiche, di un fossato scavato nel banco calcareo, che cingeva la base della torre lungo il lato est. La porta fu incorniciata nel XVII secolo da un alto portale di pietra, commissionato dalla famiglia Caracciolo.

Attualmente del palazzo Caracciolo sono visibili i resti delle cortine murarie.

Alla fine degli attuali restauri in corso, il complesso accoglierà al suo interno il museo civico di Casalbore, in cui saranno esposti, oltre ai ricchi corredi provenienti dalle necropoli sannitiche circostanti, anche i reperti del Castello, tra cui degni di nota sono i manufatti di protomaiolica locale, simili alla coeva produzione di Ariano Irpino.