Situé dans le bâtiment au pied de la vieille tour, le musée des Baleine est une construction datant du dix-septième siècle juste après la tour des Baleines.
Il est consacré à l’histoire des phares et balises des pertuis charentais, initialement conçu pour le stockage des combustibles du feu de signalement. Il a été agrandi au 19ème siècle pour accueillir les gardiens et leurs familles.