Il Castello di Francavilla Fontana in realtà è una via di mezzo fra una fortezza ed un palazzo signorile, in seguito agli adeguamenti e le modifiche architettoniche succedutesi negli anni. Non è particolarmente antico poiché fu voluto dal Principe di Taranto, Duca di Bari, Conte di Lecce Giovanni Antonio Orsini del Balzo verso il 1450, come fortilizio e presidio militare all’interno del feudo di Oria. Circa un secolo dopo, nel 1547 circa, il Marchese di Oria Giovanni Bernardino Bonifacio provvide ad ingrandirlo apportando alcune modifiche, mentre fra il 1720 ed i 1727 il Principe di Francavilla Fontana Michele III Imperiali lo completò trasformandolo da fortezza in palazzo residenziale.
Qualche anno dopo, nel 1739, Michele IV Imperiali fece abbattere un muro ed alcuni ambienti sul versante settentrionale, dove dispose l’installazione di un bel giardino, tuttavia alla sua morte, avvenuta nel 1782, non avendo nessun erede diretto la struttura fu incamerata dal regio demanio. Inizia così la decadenza del castello terminata nel 1821 con la cessione dello stesso al Comune.
La struttura si presenta a pianta all’incirca rettangolare con gli angoli aggettanti, cosa che li rende simili a torrioni, sui quali campeggia il blasone degli Imperiali, e si sviluppa su tre piani disposti in maniera asimmetrica. Il muro perimetrale, scarpato e merlato, è circondato da un fossato scavalcato da un ponte in pietra e presenta diverse finestre monofore. In alto, quale elemento decorativo, un cordone a dentelli circonda la struttura. Il portale di ingresso principale, posto sulla facciata principale a sud, è lievemente spostato ad occidente rispetto all’asse ed è incorniciato. Esso presenta ai lati due colonne poggiate su un basamento cubico e reggenti due capitelli in stile corinzio. Sull’arco a tutto sesto come chiave di volta campeggia il blasone degli Imperiali. Sul versante settentrionale, il portale posteriore è spostato verso Oriente e ad esso si accede sempre attraversando un ponte in pietra che scavalca il fossato. È sovrastato da una balconata con ringhiera in ferro, mentre sul lato orientale risalta uno splendido loggiato ricavato da quattro arcate a sesto acuto in cui si aprono finestre con cornici decorate.
Il cortile interno ha una pianta quadrata e presenta un porticato triangolare retto da colonne in stile dorico, oltre ad una fonte battesimale del XIV secolo che, con ogni probabilità, in precedenza era ubicata nella Chiesa Madre della cittadina.