Il castello di Venafro appare oggi come la somma di una serie di trasformazioni conseguenti alle numerose vicissitudini amministrative e politiche dei signori che non hanno posseduto. Pandolfo I Capo di Ferro attribuiva Nel 954 La Contea di Venafro a falde fredo virgole cui va ricondotta la vera fondazione del castello comitale con la decisione di andare ad occupare quella parte fortificata dello spigolo settentrionale della Venafro romana, di cui rimanevano le tracce di murature ciclopiche.
In epoca Normanna il nucleo quadrangolare si dotò di piccole Torri d'angolo che sopravvissero nel 1193 al saccheggio di Bertoldo, alla testa di soldati tedeschi e fiorentini. nel 1349 l'abitato di Venafro fu scosso da un disastroso terremoto che lascerò in piedi solo la cattedrale. posteriore a tale episodio sono dunque le tre grandi Torri circolari aggregate alla struttura Longobarda in sostituzione di quei Normanni che, già rese inservibili da Federico secondo, furono definitivamente eliminate. Ma oltre le trasformazioni architettoniche si decorò tutto il piano nobiliare del castello con ciclo di raffigurazioni interamente dedicate ai cavalli. Poi il castello è andato sempre più perdendo il carattere di Opera significativa per la memoria storica della città. quando sembrava condannato a un inesorabile decadimento, acquisito al demanio dello Stato, sono iniziate le opere di restauro per ospitare un'importante pinacoteca.