L’edificio principale è una costruzione eclettica con prevalenza di stile orientalista, effetto della ristrutturazione ottocentesca di una grande fattoria edificata nel 1605 per volere della famiglia Ximenes D’Aragona. La storia del luogo è però più antica e viene fatta risalire all’epoca romana. Lo storico Robert Davidsohn, nella sua Storia di Firenze, afferma che nel 780 potrebbe esserci passato Carlo Magno di ritorno da Roma, dove aveva fatto battezzare il figlio dal Papa.
La tenuta di cui fa parte il castello appartenne nei secoli a diverse importanti famiglie: gli Altoviti, poi, per volere del duca Cosimo, a Giovanni Jacopo de’ Medici, che infine la vendette a Sebastiano Ximenes. Tali beni restarono alla famiglia Ximenes d’Aragona fino all’ultimo erede, Ferdinando, che morì nel 1816.
Arte Sella è una rassegna di arte contemporanea nella natura, che si svolge in val di Sella, nel comune di Borgo Valsugana. Arte Sella è una manifestazione internazionale di arte contemporanea nata nel 1986, che si svolge all’aperto nei prati e nei boschi della Val di Sella (comune di Borgo Valsugana, provincia di Trento).
Ha avuto inizio nel 1986 ad opera di Enrico Ferrari, Emanuele Montibeller e Carlotta Strobele ed è gestita dall’omonima associazione, presieduta da Enrico Ferrari fino al 2000, poi da Laura Tomaselli, e dal marzo 2012 da Giacomo Bianchi. Nel primo periodo (1986-1996) la manifestazione era biennale e si svolgeva presso “Casa Strobele” ed il suo parco. A partire dal 1996 si è sviluppata lungo un percorso sul Monte Armentera, sempre nella Val di Sella, chiamato artenatura. Lungo un sentiero di circa 3 km sono collocate circa 25 opere.
La fortezza è stata una base militare (polveriera, ovvero per la costruzione e il deposito di materiale esplosivo) fino alla fine del 1991 (era tra l’altro proibito fotografarla e visitarla), dopo di che è stata dismessa. Successivamente la proprietà è passata all’Agenzia del Demanio di Bolzano, la quale il 2 maggio 2005 l’ha concessa in affitto al comune di Fortezza per 20 anni. Nella fortezza vengono organizzate visite guidate, mostre ed eventi culturali, da parte dell’associazione OPPIDUM a partire dal 16 maggio 2005.