Savallà, esmentat com a serra d'Avellano, l'any 1043, va ser donat pels Comtes de Barcelona a la família dels Cervera, cap a finals del s. XI, la qual en tingué el domini fins a la fi del s. XII, quan apareix com a senyor del lloc Gombau d'Oluja.
Durant el s. XIII passà als Timor i ja en el segle XIV als Boixadors per casament de Francesca Timor amb Berenguer de Boixadors. L'any 1380, Bernat de Boixadors, comprà al rei la jurisdicció del castell, junt amb la de les Piles, Guialmons i Rubió. L'any 1599, aquesta família obtingué el títol de Comtes de Savallà i el castell es va convertir en una de les residències més importants de la comarca.
El castell fou reconstruït probablement durant el s. XV i també en el s. XVI. I va ésser residència habitual dels Comtes de Savallà, els Boixadors, fins al s. XVII.
Durant les guerres carlines, els veïns del poble foren obligats a portar feixos de llenya al castell per cremar-lo.
L'edifici, cremat i derruït, fou abandonat definitivament pels Comtes, els quals ,però , a la fi del segle XIX , amb la finalitat de restaurar el seu castell de Peralada , s'emportaren diversos elements arquitectònics de gran importància del castell de Savallà.
Cal destacar la gran influència espiritual i econòmica que durant segles tingué sobre el poble la "Confraria del Roser".