Kaplnka a vedľajší špitál, ktorý prijímal chudobných šľachticov, boli postavené v roku 1741 vďaka závetu baróna Adama Zichyho. V Dome chudobných neskôr fungovala tlačiareň, potom kníhkupectvo.
Kaplnka Svätého Jozefa, ktorá má len jednu loď, bola prvou meštianskou kaplnkou v meste. Byty Domu chudobných mohli obsadiť piati chudobní ľudia a zároveň títo mohli získať podporu od nadácie.
V roku 1904 budovu kúpil Géza Spitzer a vytvoril v nej najväčšiu tlačiareň a kníhkupectvo v meste. Na prízemí budovy dodnes funguje kníhkupectvo.
Bohato zdobené stĺpy malej kaplnky, hlavný oltár a maľby verne odzrkadľujú obdobie neskorého baroka. Nad bočným vchodom sa nachádza reliéf s krížom a s nápisom pochádzajúcim z roku 1808.