Comme toutes les belles histoires, celle de la Villa Arthus-Bertrand commence par beaucoup d’amour et une passion infinie pour cette île de Noirmoutier, entre forêt et mer.
C’est à la famille Labbé que le domaine du Pélavé doit son château. En 1880, Ludovic Labbé, agent de change et juge au tribunal du commerce, sa femme Edith, née Roné, et leur 4 enfants Marie-Thérèse, 14 ans, Frédéric, 12 ans, Louis 11 ans et Marie 4 ans partagent leurs vies entre leur bel appartement du boulevard Haussmann et leur maison de vacances, le Bois Joli, à Noirmoutier, sur le domaine agricole de 16 hectares.
Sur ces terres, se sont succédées différentes bâtisses au fil du temps pour y accueillir la famille et leurs proches, mais cette première maison, le Bois Joli, aura été le théâtre privilégié d’années heureuses et de moments de joie partagés. Ainsi, après la mort de Frédéric à 15 ans, Edith décide de raser le Bois Joli pour y construire une nouvelle villa du nom de Ker Joyeux, sur les hauteurs du Pélavé. En 1900, la matriarche perd sa mère, qui lui a transmis cette amour pour l’île, son mari et sa fille aînée. Une fois encore, elle décide d’offrir une nouvelle vie au domaine en rasant Ker Joyeux et en se lançant dans une nouvelle construction, le château…