A kápolnát és a szomszédos ispotályt, amely a szegény nemeseket fogadta be, 1741-ben építették Zichy Ádám báró végrendeletének köszönhetően. A Szegények Házában később nyomda működött, majd könyvesbolt.
A Szent József-kápolna, amelynek csak egy hajója van, a város első polgári kápolnája volt. A Szegények Házának lakásait öt szegény ember foglalhatta el, és ezek egyúttal támogatást is kaphattak az alapítványtól.
1904-ben az épületet Spitzer Géza vásárolta meg, és a város legnagyobb nyomdáját és könyvesboltját rendezte be benne. Az épület földszintjén a mai napig könyvesbolt működik.
A kis kápolna gazdagon díszített oszlopai, a főoltár és a festmények hűen tükrözik a késő barokk korszakát. Az oldalbejárat fölött egy 1808-ból származó keresztes és feliratos dombormű található.