Vågsenget er barndomshjemmet til grunnleggeren av museet, lokalhistorikeren Paul Woxeng (1883-1967). Her bygde han opp et privat museum med over 3000 gjenstander, som senere ble flyttet til Berggården i Rørvik.

Paul Woxeng vokste opp i en tid da mange viknaværinger (rundt 600) med ham, utvandret til Amerika. Her levde han et allsidig liv: han drev som sagbruksarbeider, gartner, bygningsarbeider, maler, sporvognfører og butikkbetjent. Det var sannsynligvis tiden i Amerika som fikk Paul Woxeng til å starte samlerarbeidet.

Da han kom hjem til Norge begynte han for alvor å samle på gamle ting, og grunnla sitt første museum i 1919. I 1932 bygde Paul Woxeng et eget hus til sin samling av gamle bruksting på haugen bak våningshuset på Vågsenget. Her fikk folk anledning til å oppleve gammel kultur. Han hadde for alvor begynt å skrive artikler om gamle dager, og det ble etterhvert langveisfarende som tok turen til Vågsenget for å se hans samling og for å høre den eminente forteller snakke om det som hadde vært. Det er ingen tvil om at Paul tok sitt samler- og lokalhistoriske arbeid alvorlig. Barna kan fortelle at faren ofte satt ved kjøkkenbordet og skrev, og at det lokalhistoriske arbeidet kom ofte foran arbeidet på gården. I mange av sine skrifter før siste krig, skrev han at den eneste måten man kunne ta vare på bygdekulturen på var at hver kommune fikk sitt eget museum. Disse ideer skulle imidlertid først slå igjennom i Norge mange tiår tidligere. Blant hans bøker finnes en fullstendig beretning om gårds- og grannesamfunnet, samt en fullstendig sosialistorie fra Vikna. Paul Woxeng har bidratt til at tre bind av "Viknaboka", bygdebok for Vikna er i handelen.

Etter Amerikaoppholdet fungerte han som kontaktmann for Viknalaget i Amerika, der primus motor var John Rørvik. Sammen med Rørvik skrev han utvandrernes saga. I 1931 begynte Paul Woxeng å skrive på sin del av boka «Viknaværinger i Amerika». Det var Woxeng og Rørvik som førte boka i pennen, og den er et virkelig epos og en utvandrers saga, med fullstendige lister over hvem som utvandret, hvor de dro fra, og hvor i USA de slo seg ned.

I 1970 kjøpte Vikna kommune gjenstandssamlingen som var på Vågsenget. 14 dekar av eiendommen ble fradelt som bygdetun.

I 1972 ble det avgjort at samlingen måtte flyttes for at materialet ikke skulle ta ytterligere fuktskade. Det ble tydelig at dersom Woxengs Samlinger skulle komme til sin rett, måtte det meste av gjenstandsmaterialet flyttes til Berggården i Rørvik, som på midten av 70-tallet ble avsatt til museumsformål. Vågsenget er idag med sitt idylliske tun, et populært utfartssted ved sjøen. Husene ligger lunt til, omgitt av fjell og høydedrag. Husene kan leies.

Vågsengtunet har i flere år vært arena for teaterforestillingen «Barbro - vegen mot bålet» og det årlige Vågsengstevnet.