Lorsqu'il fut construit, vers l'an 800, l'île était en fait un promontoire qui s'élevait à une cinquantaine de mètres au-dessus du fleuve, une situation radicalement bouleversée par la construction du barrage de Grangent. Il était le siège d'un mandement dès 1173 et parait avoir été a cette date entre les mains d'une branche de la puissante famille de Lavieu qui possédait encore le chateau & le mandement de Grangent en 1290. Puis il fut le fief des seigneurs de Jarez, il etait encore avoué en 1337. Il subit de nombreux aléas dus à l'histoire tels que des pillages et des incendies. Le château de Grangent a vu son dernier gardien s'éteindre il y a deux siècles. De nos jours, il se dresse désormais sur une arête rocheuse changée en île...