Het museum is gevestigd in het monumentale Culemborgse Elisabeth Weeshuis. Het uit 1560 stammende gebouw werd gefinancierd uit de nalatenschap van de kinderloos gestorven Vrouwe Elisabeth en is het eerste nieuwgebouwde weeshuis in Nederland. Nog tot 1952 boden de laatmiddeleeuwse vertrekken onderdak aan weeskinderen.
Het museum vertelt het verhaal van het weeshuis, zelfs letterlijk met de op film vastgelegde verhalen van nog levende oud-bewoners. Ook toont het museum topstukken uit de Culemborgse geschiedenis. Zo zijn de portretten van graven en gravinnen van Culemborg en het monumentale drieluik van Jan Deys uit 1573 in de vaste presentatie opgenomen, Ook het Culemborgse kerkzilver met topstukken van Hendrik Step (1654), Andries Grill (1643) en John Morley (1595).
De zolder, die in de weeshuistijd gebruikt werd als opslagruimte, biedt ruimte voor tijdelijke tentoonstellingen. Vergeet ook niet een kijkje te nemen in de authentieke weeshuiskeuken, de regentenkamer en de prachtig aangelegde weeshuistuin, die wordt omsloten door een van de oudste stadsmuren in Nederland uit 1318.
Voor groepen zijn er diverse arrangementen, zoals een rondleiding gecombineerd met een ontvangst met koffie, thee en gebak. Tevens verhuurt het museum zijn sfeervolle zalen en tuin voor diverse gelegenheden. Ook trouwen in het weeshuis behoort tot de mogelijkheden.