Udover Straffeanstalten ved Horsens, det nuværende Statsfængsel, kom Vestergadekvarteret også til at 
give rum for to andre institutioner for borgere, der satte sig uden for samfundet. Det drejer sig om Tvangsarbejdsanstalten og Fattig- og Forsørgelsesanstalten, der overtog den funktion som fattiggården og arbejdsanstalten i Nørregade 14 og 16 tidligere havde haft.
I 1864 opførte Skanderborg og Vejle amter samt Horsens, Skanderborg og Vejle i fællesskab Tvangsarbejdsanstalten, som er vist på det lille billede. Den lå på Tugthusvej, nuværende Fussingsvej. Institutionen havde plads til såkaldte tvangsfanger, hvis brøde hovedsageligt bestod i drikfældighed og manglende evne til at forsøge sig selv. Efter godt 100 års virksomhed ophørte anstalten og i 1973 blev bygningen nedrevet.
Det store billede viser Fattig- og Forsørgelsesanstalten, der blev opført 1873 på hjørnegrunden mellem Fabrikvej og Houmannsgade. Bygningen var tegnet af ingeniør Clausen og indrettet til at huse 40 gamle, uarbejdsdygtige og fattige mennesker samt ti børn.Desuden var her plads til nogle husvilde familier. Beboerne var i tidens løb beskæftiget med forskellige arbejde. I 1940erne etableredes f. eks. en brændselsforretning, der oparbejdede brændetræ og solgte brunkul og tørv. Forsørgelsesanstalten fungerede til 1950erne. Herefter blev bygningen benyttet af radiofabrikken Arena indtil redrivningen i 1968, hvor hele arealet blev parkeringsplads.
06. oktober 1904:
Sammenlægning af Borgerskab.Detaillist Christen Christensen, Søndergade, har nu faaet Tilladelse til – uanset Næringslovens Bestemmelser – at forene sit Borgerskab som Detaillist med et Skræderborgerskab.
08. oktober 1924:
Hos Snedkermester Svend Andersen paa Søndergade og hos Købmand Gorm Petersen, Allegade, er der i disse Dage udstillet et Par moderne engelske Gaskaminer, og en lignende kan ses i Funktion i et af vore Billedteatre “Biografen” s Foyer. Det er paa Horsens Gasværks Initiativ, at disse Ovne er udstillet, og det er Gasværksledelsens Menig at slaa et større Slag for Udbredelsen af dem.
17. oktober 1944:
Omst. Bekendtgør Borgmesterkontoret, at man søger 40 absolut paalidelige Mænd til et kommunal Vagtværn. Lønnen er 115 Kr. ugentlig og arbejdstiden bliver paa otte Timer ( i tre Hold).
02. oktober 1964:
A/S Møller & Jochumsen passerer en milepæl. Den nye administrationsbygning i Torsvang har kostet 2,5 mill kr. Det er meningen, at de sidste værksteder skal forlade Allegade om et par år. Interessant museum indrettet i den nye bygning med store og små maskiner, som for længst er sat ud af produktion.
06. oktober 1984:
Officiel indvielse af Horsens Forberedelseskursus nye lokaler på den gamle Tordenskjoldsgades skole. Uden for planen dukkede amtsborgmester Erling Tiedemann op og lykønskede forstander Bo Carlsen og eleverne på Horsens Forberedelseskursus med langt om længe at være kommet under eget tag.