Une première résidence seigneuriale est édifiée au XIIIème siècle. Il s'agit d'un simple manoir à enceinte irrégulière. Au cours de ce siècle, d'importants travaux de fortification sont engagés, en particulier l'édification de trois tours d'enceinte qui viennent s'ajouter à la tour-porte. Un grand bâtiment résidentiel est construit à l'intérieur. Le XIVème siècle est marqué par un développement important des défenses du château. Un fossé est creusé. Une nouvelle tour-porte, avec pont-levis à flèches, est percée dans le mur d'enceinte. Dans la seconde moitié du siècle, Blandy devient un modèle de château fort. Le donjon haut d'environ 39 mètres, défendu par deux ponts-levis, est édifié. L'enceinte est modifiée par l'ajout de nouvelles tours et de courtines neuves.

Entre le XVème et le XVIIème siècle, le château fort perd ses fonctions militaires et devient un château résidentiel. Les bâtiments civils se multiplient.