Wie alle schönen Geschichten beginnt auch die von Schloss Pélavé zwischen Wald und Meer mit viel Liebe und einer unendlichen Leidenschaft für die Insel Noirmoutier.
Das Schloss der Domaine du Pélavé ist der Familie Labbé zu verdanken. Im Jahr 1880 lebten Ludovic Labbé, Geldhändler und Richter am Handelsgericht, seine Frau Édith, geborene Roné und ihre vier Kinder Marie-Thérèse, 14 Jahre, Frédéric, 12 Jahre, Louis, 11 Jahre und Marie, 4 Jahre, abwechselnd in ihrem schönen Appartement am Boulevard Haussmann und ihrem Ferienhaus Bois Joli auf der 16 Hektar großen Landwirtschaftsfläche in Noirmoutier.
Auf dem Gelände standen im Lauf der Zeit verschiedene Gebäude für die Familie und ihre nahestehenden Personen, doch das erste Haus – Bois Joli – war der wichtigste Schauplatz glücklicher Jahre und gemeinsamer schöner Zeiten. Nach dem Tod von Frédéric mit 15 Jahren entschied Édith, Bois Joli abreißen und an der selben Stelle auf der Höhe der Domaine du Pélavé eine neue Villa mit dem Namen Ker Joyeux bauen zu lassen. Im Jahr 1900 verlor die Matriarchin ihre Mutter, die ihr die Liebe zur Insel übermittelt hatte, ihren Mann und ihre älteste Tochter. Wieder entschied sie, der Domaine neues Leben einzuhauchen, ließ Ker Joyeux abreißen und ein neues Gebäude errichten: das Schloss.