Le château de Castelnau-de-Mesmes, chef-lieu d’une minuscule juridiction, date au moins du XIIIe siècle, lorsqu’apparaissent les premières mentions des seigneurs de Castelnau. Il fut saccagé plusieurs fois aux XVIe et XVIIe siècles dans la tourmente des guerres de religion. Restauré dans la seconde moitié du XVIIe siècle, il traversa sans dommage la Révolution.
En 1820, un fourneau fut construit dans la tour sud-ouest du château afin de fondre le minerai de fer ; un canal de dérivation fut creusé à cet effet à l’ouest du site (il servira par la suite à la papeterie située près du Ciron). La fonderie fonctionna jusqu’en 1860, puis un nouveau propriétaire transforma profondément le château. Celui-ci fut finalement démoli entre 1934 et 1937.
Le château comprenait une chapelle, une basse-cour au sud-est, une autre au nord-ouest, ainsi que des fossés qui furent comblés par les débris de la forge. La façade nord-ouest comportait trois tours. Léo Drouyn estimait qu’un moulin avait été établi sur le Goua-Sec, le long du château, entre deux tours.
