Kaznica vzhodne države ima lahko protestantske korenine, imela pa je tudi judovsko sinagogo, ki je bila skupaj z bogato zgodovino javnosti za omejeno obdobje razkrita aprila 2008.
Čeprav populacija judovskih zaporov nikoli ni bila več kot 80 naenkrat, je bila v kaznilnici že leta 1845 močna judovska navzočnost. Lokalni rabini so prišli svetovati zapornikom in zagotavljali verska branja.
Že v začetku dvajsetih let prejšnjega stoletja, potem ko je bil Pennsylvania sistem izolacije opuščen, je Alfred Fleisher, takratni predsednik skrbniškega zapora, zagovarjal gradnjo sinagoge, da bi bolje prilagodili potrebe judovskih zapornikov. Zaporniki in lokalni prostovoljci so si zadali graditi verski center na nekdanjih vajah sedmih blokatov.
Bil je okrašen prostor, z okrašenim stropom in rdečimi ploščicami. Klopi so obložile stene, medtem ko je bralna miza in leseni Torah Ark napolnil sobo. Fleisher se je zapornikom pridružil pri vsaki službi v sinagogi do njegove smrti leta 1928. Kasneje istega leta je bila sinagoga posvečena Fleisherju in v njegov spomin je bila postavljena bronasta plošča.
Med nepozabnimi udeleženci sinagoge je bil tudi Joseph Paull, slavni judovski močan, ki ga je Fleisher leta 1923 povabil, da zabava zapornike s svojimi podvigi moči. Paull je z zaporniki razvil odličen odnos, vrnil se je za storitve in oskrboval zapor s hrano iz svoje košerarske mesnice. Pozneje je, ko je spoznal težave, s katerimi se soočajo nekateri zaporniki - upravičeni so do pogojnega izpusta, vendar ga niso mogli izpustiti, ker niso zagotovili zaposlitve - je ustvaril program, ki je zapornikom ustrezal delodajalci. Paull bi bil še naprej zvest podpornik zaporniške skupnosti do svoje smrti leta 1966.
Službe v sinagogi so se nadaljevale do zaprtja zapora leta 1971. Če bi naslednjih 33 let zapustila, bi zapadla v veliko stanje zapora. Kamnite stene, ki vodijo do vhoda v sinagogo, so se podrle, kar je oviralo dostop, nekateri deli ometnega stropa pa so zaradi poškodbe vode padli iz propada. Študentka Laura Mass na Univerzi v Pensilvaniji je leta 2004, ko je preučila kaznilnico za svojo diplomo iz zgodovinske ohranitve, poskušala izpod ruševin izkopati pozabljeno hišo čaščenja.
Med izkopavanjem je Mass našel ostanke okrasnega stropa za omet, strani praznične pesmarice in dele Davidove zvezde. Ta odkritja so spodbudila zgodovinski kraj vzhodne državne kaznilnice, da ustanovi odbor za obnovitev sinagoge. Danes se obnova sinagoge Alfred W. Fleisher še vedno nadaljuje in naj bi se oktobra 2009 pridružila javni turneji kaznilnic.
Sinagoga leta 1995, preden so jo očistili. (Greg Brooks) 
"Izgubljena sinagoga" v vzhodni državni zapori. (Zgodovinsko znamenje vzhodne državne kaznilnice) 
"Izgubljena sinagoga" v vzhodni državni zapori. (Zgodovinsko znamenje vzhodne državne kaznilnice)
