Il simbolo della città è il Castello degli Acaja, oggi polo culturale. All’inizio del Trecento, per avere protezione dagli attacchi dei poteri confinanti, i Fossanesi fecero atto di dedizione agli Acaja, ramo cadetto dei Savoia. In ragione di questa sottomissione, il principe si impegnò a costruire a proprie spese una fortezza, che risulta terminata nel 1332: quattro torri a pianta quadrata si ergevano verso il cielo, collegate da cortine merlate; un ampio fossato circondava la fortezza su tre lati e si superava con ponte levatoio. Dopo l’estinzione degli Acaja, i possedimenti passarono ai Savoia che, intorno al 1485, promossero la trasformazione del castello in palazzo; da questo momento la struttura sarà utilizzata prevalentemente come residenza.
All’interno del cortile si percepiscono le varie fasi di vita di questo edificio. Il bel porticato è un’aggiunta quattrocentesca e mostra una serie di capitelli con foglie e lo stemma dei Savoia. La manica di fronte all’ingresso costituiva il palazzo vero e proprio e ospitava le stanze di rappresentanza del Duca; questa parte era abbellita da un loggiato su due piani poi distrutto, mentre si vedono ancora tracce di affreschi quattrocenteschi al primo piano. Dalla fine del Seicento il castello non è più utilizzato come residenza, ma come prigione soprattutto per i Valdesi. Un passaggio laterale conduce ai sotterranei: qui, anche grazie alla presenza di una ghiacciaia, la temperatura era bassa e consentiva lo stoccaggio e la conservazione di beni alimentari. Il collegamento diretto con le cucine garantiva la massima efficienza.
La sala delle grottesche è l’unico ambiente decorato giunto fino a noi. La sua realizzazione si deve al pittore fiammingo Giovanni Caracca e risale alla fine del Cinquecento, quando il castello fu abitato dal duca Carlo Emanuele I e dalla moglie Caterina Michela d’Asburgo Infanta di Spagna. La stanza era probabilmente adibita all’uso personale dei duchi i cui stemmi compaiono al centro della volta. Anche le cartelle con il motto “fert” rimandano alla committenza sabauda. Lungo le pareti compaiono dei motti negativi e positivi; a questi fanno riferimento gli uccelli dipinti sulle lunette: un’arpia, un rapace, un uccello del paradiso e un pappagallo. Tutto intorno si stagliano sul fondo bianco esili grottesche dedicate agli dei del mondo antico. Le grottesche sono un particolare tipo di decorazione pittorica che si ispira alla pittura romana di epoca augustea; questo genere divenne di gran moda dopo la scoperta della Domus Aurea di Nerone. La torre panoramica offre una fantastica vista a 360° sulla città e sull’arco alpino del Piemonte meridionale. Le strutture originarie hanno subito modifiche, come l’aggiunta dei loggiati a fine Cinquecento o l’inserimento dei torricini ottocenteschi, contenenti le scale di servizio. Le torri sono collegate dai camminamenti di ronda, ancora percorribili.