Nella sagoma quadrilatera del castello moduli architettonici diversi evidenziano tempi, funzioni e culture artistiche che si succedono, dai Normanni agli Aragonesi. Motivi di difesa sono alla base del primo impianto del complesso, che in età sveva assume gli ideali residenziali di una domus solaciorum, di una dimora signorile per gli svaghi di cortigiani e forse anche dello stesso imperatore Federico II. Questi, nel 1234, aveva dato in dote alla terza moglie, Isabella d'Inghilterra, Vico e i paesi garganici compresi nell' Honor Montis Sancti Angeli. Il nucleo più antico del castello si sviluppa sull'asse NE-SE, chiuso agli angoli da torri quadrate.
Quella di NE si eleva su di una scarpa di base a blocchi sagomati e smussati, evidenziata da un costolone marcapiano; l'altra di SE culmina con un'elegante bifora, descritta da A. Haseloff ("un capitello a foglie piatte e grossi bulbi obliqui"), e con l'originaria merlatura. Quasi a rinsaldare quest'ultima slanciata struttura angolare, un bastione circolare di fortificazione, la cosiddetta torre maestra, ricorda il periodo aragonese. E gli adattamenti per bocche di fuoco, accanto alle balestriere, riportano al ricorrente dramma della guerra, all'assedio e al cannoneggiamento di Vico nel 1529, da parte degli Spagnoli.
Nella quotidianità di oggi il castello rimane un simbolo, dominante sulla composizione urbanistica del paese. Muri incrostati di storia, volte a crociera, portali sfidano ancora il tempo e conservano il segreto di eventi che nessun archivio ha raccolto.