Miletics Borbála, Komárom gazdag polgára 1709-es végrendelete alapján két üzlethelyiséget és házát a szegényekre hagyta, és szegényházat alapított, amely mellé 1750-ben kápolnát építettek, amely az 1763-as földrengés után röviddel megsérült, 1768-ban pedig leégett.
A szegényházat, amelyben 12 szegény embert szállásoltak el, Bärnkopf Ignác esztergomi kanonok is támogatta. A szegényházban élők évente kétszer, húsvétkor és Szent Anna napján koldulhattak a városban. A szegényház és a kápolna az 1848-as tűzvészben leégett. A kápolna újjáépítése után (mivel a korábban használt Szent János templomot már nem építették újjá) a város német lakói használták. Két kis harangját az első világháború alatt beolvasztották. Később, 1922-ben Dosztál Jakab műhelyében újat öntöttek. A szegényház (amely a 20-as évekig adományokból az infláció miatt működött) 1945-ig létezett.