La forteresse est construite à partir de l'an 1231 par le seigneur Arnaud
de Marcilly, sur ordre du comte
Guy IV de Forez qui finance la construction. Le site est couvert de bois et presque inaccessible. La bâtisse originelle est une
maison forte ; mais elle est transformée en une véritable forteresse médiévale, faite pour être une barrière aux ambitions des puissants voisins de la seigneurie de
Couzan, aux mains de la
famille de Damas, liée à l'empereur germanique.
Son aspect était sombre et sévère, avec quatre tours rondes dominées par un donjon carré, sans ouvertures sur les flancs.
Un fils puîné d'Arnaud, Jean (Ier) de Marcilly († av. 1277), hérite de Chalmazel et se marie avec Guillemète Guerri avant 1248 (fille du bailli de Forez Fouchier Guerri, elle meurt vers 1283 ; par les Guerri, sont échus aux Marcilly des biens, terres et maisons souvent nommées la Ferrière, à Neulise, Bellegarde, St-Médard, St-Marcel...). Guillemète et Jean sont suivis de leurs fils : Jean (II) (né v. 1250-† 1284), Arnaud ou Pierre-Arnaud Jomar († v. 1286 ; marié à Béatrice, fille de Guichard Durgel de St-Priest, † ap. 1315), (ces deux frères, sans postérité), et Antoine (Ier) de Marcilly (né av. 1258-† v. 1323 ; marié à sa belle-sœur Aldine Durgel). Antoine laisse Jean de La Ferrière (né v. 1291-† entre 1338 et 1355), fils cadet, marié 1° 1321 à Catherine, fille de Guichard d'Oingt-Theizé, puis 2° 1324 à Aigline la Brune († ap. 1361), sœur de Perceval de Lavieu-Feugerolles ; et Girin (né v. 1283-† v. 1333), fils aîné, seigneur de Chalmazel, époux de Béatrice, fille d'Hugues Damas de Couzan. Girin fut le père, peut-être d'Alice Chasaleyra, femme de Guillaume de Cournon puis de Jean II de Rochefort (?), en tout cas d'Isabelle, prieure de Leigneux, d'Antoine, prieur d'Arnas, de trois autres nonnes et moine, et de leur frère aîné Jean (III) Marcilly, seigneur de Chalmazel, Ledit Jean (III) († v. 1361) hérita non seulement de Chalmazel, mais aussi des biens de son oncle Jean de La Ferrière, y compris ceux venus de sa première femme Catherine d'Oingt-Theizé ; il maria 1° N., puis 2° en 1336 Dauphine († 1383), fille de Bertrand de Saint-Nectaire et sœur d'Eracle qui fonda la deuxième maison de Roche-la-Molière en épousant l'héritière Catherine de Lavieu-Roche. De sa 1° femme inconnue, Jean (III) avait eu Catherine († av. 1370 ; mariée av. 1345 avec postérité à Aymar du Chier (à Allègre ?)), et de sa 2° épouse, Dauphine donc, il enfanta Béatrice (x 1364 Mathieu de Talaru ; Béatrice et Mathieu meurent vers 1382), Isabelle (x Blain Le Loup de Beauvoir), et Antoine (II) de Marcilly, sire de Chalmazel (né vers 1348-† 1370, sans postérité).
En 1372, Béatrix, la dernière des Marcilly, qui épouse Mathieu de Talaru en 1364, hérite donc de son frère Antoine de Marcilly, mort à l'âge de moins de 25 ans sans héritiers directs. La seigneurie de Chalmazel passe ainsi aux Talaru, une ancienne famille noble du Lyonnais (cf. Talaru à Saint-Forgeux).
Après la destruction du château de Marcilly, les Talaru se replient au château de Chamazel. En 1400 ils font construire les remparts sous forme d'une enceinte pentagonale et ajoutent des mâchicoulis au donjon. Après l'incorporation du comté de Forez dans le domaine royal à la confiscation des biens du connétable de Bourbon en 1523/1531, les Talaru servent le roi dans ses armées.
À la Renaissance, le marquis de Talaru, de retour des guerres d'Italie, fait ajouter des embellissements de style Renaissance : façade ajourée, galeries de la cour intérieure et peintures de la chapelle, sculptures.