A házat a 19. században romantikus stílusban építették, és eredetileg adóhivatalként szolgált. Helyén egykor a Ghyczy család kastélya állt, és ott született Ghyczy Kálmán, a város képviselője és pénzügyminiszter.
2009 októberében nyílt meg a múzeum képtára, amelyben a múzeum gyűjteményének 18. század elejétől a 20. század közepéig terjedő időszakának legszebb és legértékesebb műalkotásai találhatók. Ezek közül kiemelendő a múzeumi gyűjtemény egyik legrégebbi festménye, a komáromi bíró votív képe ismeretlen szerzőtől, 1705-ből. A gyűjtemény ékszerei közé tartozik a Madonna gyermekkel az 1730 körüli időszakból. A kiállításon megcsodálhatjuk Franz Xaver Seegen ismert osztrák barokk szobrász értékes ólom szoborcsoportját is. Keresztre feszített Krisztus Mária Magdolnával, amely 1768-ban készült. Figyelemre méltóak a 18. és 19. századi portrék. A múlt század első évtizedeit magyar és szlovák festők művei képviselik.
A képtárban külön termet szenteltek a 19. század végi magyar festészet jelentős képviselőjének, Feszty Árpádnak. Feszty 1856-ban született a közeli Ógyallán, 1914-ben hunyt el Lovranában (Horvátország). Történelmi tematikájú képeket, tájképeket és portrékat festett.
A múzeumban a Dunamentén élő állatokról szóló állandó természettudományi kiállítás is található.