Le château est construit sur l’emplacement d'une forteresse médiévale entourée de douves, propriété des seigneurs de Trémilly. Au début des guerres de religions, vers 1540, le château de Trémilly sert de refuge aux « Réformés » et fût assiégé deux fois par les partisans de la Ligue et finalement détruit.
L'Eglise Saint-Martin date du XVIème et n'a pas de clocher, il aurait été détruit par la foudre en 1664. Le portail est renaissance daté 1559. Architecture gothique flamboyante ( classée Monument Historique). Calvaire du XVIe siècle se détachant sur un ciel étoilé (étoiles montées en "chef-d'oeuvre") : c'est le célèbre
La façade élevée au XVIIIe siècle regarde vers un parc paysager vallonné, pittoresquement agrémenté d’édicules Renaissance provenant de l’ancien château, détruit pendant les guerres de religion. La façade arrière domine un jardin axé sur une orangerie datant de la seconde moitié du XIXe siècle, un spectaculaire escalier à deux volées
