Het huidige museum is gehuisvest in het oudste nog staande pand van Oost-Vlieland. De kern ervan werd gebouwd kort na 1575 en bestond uit kelder, kamer en zolder. De muur tussen hal en grote voorkamer was toen de oostgevel van het huis, zoals het metselwerk aan de top, te zien op de voorzolder, met boerenvlechtwerk en geveltopsteen, laat zien.
Gezien de haardstedenregisters van 1637 en 1644 werd in de voorliggende periodes de oostelijke vleugel van het huis gebouwd. Het huis heeft 3 schoorstenen en zou mogelijk het Gemeene Landhuys zijn geweest. (Er is echter ook sprake van een groot gebouw t.h.v. Dorpsstraat 47-53, gebouwd tussen 1575 en 1598, wat het Gemeene Landhuys zou zijn geweest, het is afgebroken in 1839.) In het Gemeene Landhuys behartigden de Commissarissen van de Admiraliteiten van Amsterdam en het Noorderkwartier (Hoorn en Enkhuizen) de vlootzaken.
Het huis werd rond 1595 overgedragen door de ‘Commissaris van het Vlye’ aan de pas opgerichte Admiraliteiten.
Vanaf 1637 is het huis bewoond geweest door particuliere eigenaren ( zie het boek ‘De lage zijde’ van Ben Stenekes).
In 1896 kochten Gooswinus en Betzy Akersloot-Berg het huis en gaven het de naam Tromp’s Huys. Ze lieten achter in de tuin de atelierwoning bouwen, die er nu nog steeds staat. Na het overlijden van Betzy in 1922 en Gooswinus in 1929 erfde huishoudster Jet Visser het huis met inboedel van het kinderloze echtpaar. Na haar overlijden in 1955 werd het huis gekocht door de gemeente Vlieland om er een museum van te maken.
In de jaren 1958-1959 werd het huis gerestaureerd, voor de financiering werd subsidie verstrekt door de provincie Friesland op voorwaarde dat er Friese elementen in het pand zouden worden aangebracht (tot 1945 hoorde Vlieland bij Noord-Holland).
De Friese elementen zijn met name in de tussenkamer van het museum te zien; een Workumse schouw, bedstede wand en 16e en 17e tegels uit Harlingen op de wanden.
Op 15 juni 1960 werd het museum Tromp’s Huys geopend.
Sinds 2001 is Vereniging Hendrick de Keyser eigenaar van het pand, net als van het oude Raadhuys en de oude Reddingbootschuur.