Il fut occupé successivement par Jean de Lavieu de 1275 à 1317, Briand de Lavieu de 1295 à 1361, Guillaume Jean de Gayardon 1520 à 1598, Pierre de Gayardon de 1555 à 1609, André de Gayardon en 1620, Alexandre de Gayardon en 1660, Antoine de Gayardon de Grézolles en 1700 et enfin Charles Henri Augustin de Gayardon de Grézolles de 1740 à 1819...