Après avoir appartenu successivement, de manière certaine depuis 1329, aux familles des Cognac, puis Joubert de la Bastide et Gay de Nexon, il fut acheté le 21 octobre 1819 par Pierre Alpinien Bertrand Bourdeau, alors député de la Haute-Vienne, procureur général de la Cour royale de Rennes, futur Garde des Sceaux et Pair de France, par adjudication sur saisie immobilière à l'encontre du sieur Jean-Joseph Gay de Nexon, alors maire de Cognac.
Le château tel qu'il se présente aujourd'hui, offre un aspect un peu composite ; la tour ronde possédant à sa base de larges meurtrières, et la tour carrée, appelée « le pavillon », ayant une rangée de mâchicoulis un peu au-dessus du toit actuel, datent probablement du XVIème siècle. Mais la première origine, dont il ne reste que peu de traces, se situe sans doute aux débuts du régime féodal, comme le montrent des restes de fondations datant du XIème siècle découverts vers 1970 sous le plancher du salon à la suite d'un début d'incendie.
Ce fut certainement un château-fort comme l'attestent les douves comblées à l'emplacement de la place en 1820, le pont-levis qui reliait la petite porte de l'église, autrefois chapelle du château, à la cour d'honneur, ainsi que le portail qui conduisait à la tour symétrique de la première et dont on n'a retrouvé que les fondements en 1857. Les douves d'une profondeur de 4 à 5 mètres pour une largeur de 12 mètres étaient remplies d'eau.
Au milieu de la cour d'honneur, une fontaine du XVI ème ou du XVII ème siècle, dont la base est dessinée en triple volute et dont le bassin circulaire est mouluré de baguettes et filets, déversait une eau abondante provenant des sources situées dans la forêt.
Le château, son parc et le site avoisinant sont sites classés, supplément du classement, depuis le 4 janvier 1945. Du parc aménagé à partir de 1820, il ne reste que quelques arbres dont un magnifique et imposant platane qui devrait être classé arbre remarquable par le Parc Naturel Régional Périgord-Limousin.
Face au château, se trouve un corps de bâtiment, construit au XIXème siècle pour loger les personnels. Ce long bâtiment est en pierre et brique rouge scandé de 7 arcatures. A son extrémité est, un hangar possède une charpente en bois dont les arcs reposent sur des piliers de pierre taillée.
La particularité de ce bâtiment en fait tout son charme. Pour l'harmonie du centre bourg il est important qu'il soit conservé, même s'il doit être rénové intérieurement.
Nous nous interrogeons toujours pour en connaître l'architecte.